NonDev

สำนักข่าวไอทีโดย AI อัปเดตก่อนใครตลอด 24 ชั่วโมง

AI

METR อัปเดตกราฟวัดฝีมือ AI พบโมเดลยังสู้มนุษย์ไม่ได้ในงานที่ต้องใช้วิจารณญาณ

องค์กรประเมิน AI อย่าง METR ปล่อยกราฟ time horizon เวอร์ชันใหม่ เผยว่า AI เก่งขึ้นเรื่อยๆ ในงานที่เช็กถูกผิดได้ชัด แต่ยังทำได้ไม่ดีในงานที่ต้องใช้วิจารณญาณแบบมนุษย์

ภาพสร้างด้วย AI (ไม่ใช่ภาพถ่ายจริง) ประกอบข่าว METR อัปเดตกราฟวัดฝีมือ AI พบโมเดลยังสู้มนุษย์ไม่ได้ในงานที่ต้องใช้วิจารณญาณAI ภาพสร้างด้วย AI ไม่ใช่ภาพถ่ายจริง
ภาพสร้างด้วย AI — ไม่ใช่ภาพถ่ายจริง

METR องค์กรไม่แสวงผลกำไรที่ทำหน้าที่ประเมินความสามารถ AI ออกรายงานอัปเดตกราฟ time horizon ตัวที่เคยถูกแชร์กันทั่วโลกแต่ก็ถูกเข้าใจผิดเยอะเหมือนกันครับ กราฟเดิมวัดโดยให้ AI ทำงานเทียบกับมนุษย์ แล้วดูว่า AI ทำงานที่ใช้เวลานานแค่ไหนได้สำเร็จ ซึ่งพบว่าทุก 4 เดือน โมเดลชั้นนำจะทำงานที่ยาวขึ้นเป็นสองเท่าได้

รอบนี้ METR เพิ่มงานแบบใหม่เข้ามา ทั้งงานที่กินเวลานานกว่าเดิมมาก และงานที่เปิดกว้างไม่มีคำตอบตายตัว อย่างให้โมเดลออกแบบวิธีประเมิน AI ตัวใหม่ให้ METR ใช้เอง แล้วให้พนักงานมาให้คะแนน ผลคือไม่มีผลงานจาก AI สักชิ้นที่ดีพอจะเอาไปใช้งานจริง ทั้งที่โมเดลเก่งด้านเขียนโค้ดเหนือคนทั่วไปไปแล้ว

อีกงานหนึ่งคือให้โมเดลให้คะแนนข้อโต้แย้งเชิงปรัชญา ซึ่งก็ยังทำได้ไม่เท่ามนุษย์เหมือนกัน เหตุผลคืองานแบบนี้เช็กถูกผิดอัตโนมัติไม่ได้ ต่างจากงานโค้ดดิ้งหรือคณิตศาสตร์ที่ใช้เทคนิค reinforcement learning ฝึกให้เก่งขึ้นได้ง่ายกว่า

เรื่องนี้สำคัญเพราะช่วงนี้วงการ AI กำลังพูดถึงความเป็นไปได้ที่ AI จะเร่งการวิจัยพัฒนา AI ด้วยตัวเอง หลังมีรายงานก่อนหน้าจาก METR ที่ถูกตัดข้อมูลออกไปมากบอกว่า AI อาจเร่งความเร็วการพัฒนา AI ที่ Anthropic ได้ถึง 2 เท่า จนเกิดความกังวลเรื่องการพัฒนาต่อยอดตัวเองแบบไม่มีคนเข้ามาเกี่ยวข้อง

Sayash Kapoor นักวิทยาศาสตร์คอมพิวเตอร์ที่กำลังจะไปเป็นอาจารย์ที่ UC Berkeley มองว่าการที่ METR เริ่มใส่งานแบบใหม่ๆ เข้าไปทดสอบเป็นเรื่องดี แต่ก็บอกว่ายังมีอีกเยอะที่ต้องทำกว่าจะเข้าใจเรื่องนี้ได้ครบถ้วน Matt Putz จากทีมเทคนิคของ METR ก็ยอมรับว่างานที่ต้องใช้วิจารณญาณแบบนี้วัดผลยากกว่างานที่เช็กถูกผิดได้ชัดมาก และคงไม่สามารถสร้างแนวโน้มที่ชัดเจนเท่างานกลุ่มแรกได้

ถึงอย่างนั้นรายงานก็ชี้ว่าโมเดลใหม่อย่าง Opus 5.5 เริ่มทำคะแนนในงานออกแบบการประเมินได้ระดับ "borderline above the bar" คือยังใช้งานจริงไม่ได้แต่ก็ดูมีแนวโน้มดีขึ้น ทั้งที่เมื่อปีก่อนทุกโมเดลยังอยู่ในระดับ "clearly below the bar" กันหมด

ที่มาของข่าว

สำนักข่าว
MIT Technology Review
พาดหัวต้นฉบับ
The most misunderstood graph in AI just got a major update
เผยแพร่ต้นทาง
21 พ.ย. 2569 01:15 น.
อ่านต้นฉบับที่ MIT Technology Review