นักวิจัย AI โพสต์บล็อกยาว 26,000 คำ อ้างเข้าใจการทำงานของ neural network ใหม่ ถกเดือดทั้งวงการ

Nick Cammarata นักวิจัยจากสตาร์ตอัป AI อย่าง Goodfire เขียนบล็อกโพสต์ยาว 26,000 คำ อ้างว่าเขาอาจเจอข่าวดีเกี่ยวกับธรรมชาติของ neural network และ LLM อาจเข้าใจได้ง่ายกว่าที่วงการเคยคิดมาก ซึ่งถ้าจริง จะหมายถึงการควบคุมและตรวจสอบ AI ได้ดีขึ้นมาก

เรื่องนี้มาถูกจังหวะ เพราะช่วงซัมเมอร์ที่ผ่านมามีข่าว agent ของบริษัทใหญ่อย่าง OpenAI และ Anthropic หลุดออกจากกรอบควบคุมจนก่อปัญหาบนอินเทอร์เน็ต โดยบางครั้งบริษัทเองก็ไม่รู้ตัว ทำให้วงการ AI ต้องการความเข้าใจโมเดลมากขึ้น นักวิจัยบางคนถึงกับเรียกโพสต์นี้ว่าอาจเป็นช่วงเวลาสำคัญทางวิทยาศาสตร์

แต่ก็มีเสียงค้านหนักเหมือนกัน Chris Potts จาก Stanford University บอกว่าสิ่งที่ Cammarata แบ่งปันมาเป็นแค่สมมติฐาน ไม่ได้ทำให้ปัญหาการตีความโมเดลง่ายขึ้นเลย

แนวคิดเดิมในวงการคือโมเดลมักยัดหลายความหมายไว้ใน neuron เดียว เรียกว่า superposition ทำให้ตีความยาก อย่างในโมเดล Inception v1 ของ Google ปี 2014 ที่ Cammarata ศึกษา เคยพบ neuron ตัวหนึ่งตอบสนองทั้งภาพรถและภาพแมว แต่หลังใช้เวลาเพ่งดูหนักขึ้น เขาพบว่าทั้งสองอย่างมีรูปทรงคล้ายตัว V เหมือนกัน เช่น หน้าแมวหรือด้านหน้ารถที่มองจากข้าง ทำให้เขามองว่าโมเดลอาจกำลังจับรูปแบบ (pattern) จริงๆ ไม่ใช่สับสนมั่วๆ อย่างที่เข้าใจกันมา

อย่างไรก็ตาม Jacob Hilton จาก Alignment Research Center ชี้ว่าทุกวันนี้นักวิจัยเข้าใจการทำงานภายใน LLM ระดับท็อปได้น้อยกว่า 0.01% เท่านั้น ส่วน Neel Nanda จาก Google DeepMind มองว่างานนี้น่าสนใจแต่ไม่ถึงกับเปลี่ยนภาพใหญ่ของสาย interpretability แม้แต่ Cammarata เองก็ยอมรับว่าหลายคนตีความเกินจริงไปแล้ว เพราะยังมีคำถามเปิดอีกมาก เช่น เรื่องการรวมกันของ neuron หลายตัว