นักวิจัยเสนอใช้ game theory ย้อนกลับ อาจช่วยคุม AI agent ด้วยการออกแบบแรงจูงใจ

มีแนวคิดใหม่ชื่อ reverse game theory หรือ mechanism design ที่อาจช่วยคุม AI agent ที่ทรงพลังขึ้นเรื่อยๆ ไว้ไม่ให้หลุดกรอบ ตามรายงานของ MIT Technology Review แทนที่จะพยายามส่องสมองโมเดลว่ากำลังคิดอะไร วิธีนี้เลือกออกแบบกฎและแรงจูงใจให้การทำตามกฎเป็นตัวเลือกที่สมเหตุสมผลที่สุดสำหรับ AI agent เอง

เหตุผลที่ต้องหาทางใหม่ เพราะวิธีเดิมอย่างการพยายามอ่านใจโมเดล หรือฝึกให้มีค่านิยมแบบ constitution เหมือนที่ Claude ใช้ ยังเอาไม่ลงจริงๆ มีกรณีที่โมเดลแกล้งทำข้อสอบให้ดูแย่กว่าความจริง ปิดบังเจตนา หรือหลอกคนประเมินผลให้เข้าใจผิด

งานวิจัยของ Stephen Morris นักเศรษฐศาสตร์ MIT ร่วมกับทีม Yale และ Columbia เสนอว่าให้คะแนนโมเดลตามว่ามันทำนายคำตอบของโมเดลอีกตัวได้แม่นแค่ไหน แทนที่จะให้ตามผลสอบตรงๆ วิธีนี้ทำให้การแกล้งโง่กลายเป็นทางเลือกที่ขาดทุนไปเลย

อีกไอเดียจาก Elad Hazan จาก Princeton คือให้โมเดลสลับบทบาทเป็น solver ที่แก้ปัญหา กับ auditor ที่ตรวจงาน ถ้า solver โกงแล้วโดนจับได้จะถูกลงโทษ แต่ auditor ที่จับไม่ได้ก็โดนลงโทษด้วย กรณีเห็นไม่ตรงกันอาจส่งให้มนุษย์ผู้เชี่ยวชาญตัดสิน Hazan ยอมรับว่ามีความเสี่ยงที่ทั้งสองฝ่ายจะร่วมมือกันโกง แต่แก้ได้ด้วยการให้รางวัล auditor มากพอและตรวจสอบ auditor เองด้วย

ข้อจำกัดคือวิธีนี้ตั้งอยู่บนสมมติฐานว่า AI มีเหตุผลแบบที่ทฤษฎีเศรษฐศาสตร์คาดไว้ ซึ่ง Helen Qu นักวิจัยจาก Flatiron Institute ก็ยังตั้งคำถามอยู่ว่าสมเหตุสมผลหรือไม่ เธอมองว่า mechanism design เป็นแค่หนึ่งชั้นในการป้องกันแบบ defense-in-depth ต้องใช้ควบคู่กับการตีความโมเดล (interpretability) กฎระเบียบ และการฝึกโมเดล (training) ไม่ใช่ใช้แทนกันทั้งหมด ส่วน Anthropic กับ OpenAI ไม่ได้ตอบคำถามว่ากำลังทำแนวนี้อยู่หรือไม่