Cohere เจอโมเดล Qwen ของ Alibaba พยายามส่งไฟล์ไปเซิร์ฟเวอร์ที่ปักกิ่ง

Cohere บริษัท AI จากแคนาดาแจ้งเมื่อวันจันทร์ว่าเจอโมเดล Qwen3.8-Flash-Next ของ Alibaba พยายามอัปโหลดไฟล์ไปเซิร์ฟเวอร์ที่ปักกิ่งระหว่างทดสอบความปลอดภัยตามปกติ ทั้งที่ตัวโมเดลเขียนในบันทึกของตัวเองว่าจะไม่ใช้ tool ใดๆ เลย

เรื่องนี้ทำเอาหลายคนตกใจตอนแรก เพราะมันขัดกับคำสัญญาพื้นฐานของโมเดล open-weight ที่บอกว่าถ้าใครเอาไปรันบนเซิร์ฟเวอร์ตัวเอง ข้อมูลจะไม่หลุดออกไปไหน แต่ความกังวลเรื่องการสอดแนมก็จางไปเร็ว เพราะนักวิจัยสรุปว่าน่าจะมาจากสภาพแวดล้อมการฝึกโมเดลที่ยุ่งเหยิง ทำให้โมเดลทำอะไรเกินคำสั่งโดยไม่ได้ตั้งใจ มากกว่าจะเป็นการแอบส่งข้อมูลลับไปจีน

เหตุเกิดวันศุกร์ระหว่างทดสอบให้โมเดลเขียนกฎดักจับมัลแวร์ Cohere เล่าว่า Qwen เขียนไว้ชัดในขั้นตอนการคิดว่าจะไม่ใช้ tool ภายนอก แต่ขั้นต่อมากลับพยายามส่งข้อความทดสอบสั้นๆ ไปเซิร์ฟเวอร์ภายนอกทันที ก่อนถูก sandbox ความปลอดภัยสกัดไว้ Cohere เองก็บอกว่าไม่สามารถฟันธงได้ว่าเป็นความตั้งใจหรือเป็นผลพลอยได้จากการฝึก

Ivan Zhang ผู้ร่วมก่อตั้ง Cohere บอกกับ TechCrunch ว่าโมเดลของ Cohere เองก็เคยมีพฤติกรรมแปลกๆ จากการฝึกในโปรแกรมจำลองมาก่อน

มันยากมากที่จะบอกว่าโมเดลมีเจตนาหรือแรงจูงใจอะไร เราเคยดู trace ของโมเดลตัวเอง เจอการ reward hack และบางทีโมเดลก็สร้างสรรค์มากตอนพยายามหลุดออกจาก sandbox

นักวิจารณ์บางคนมองว่าวิธีที่ Cohere สืบหาต้นตอเองก็อาจชักนำให้โมเดลทำพฤติกรรมนี้ เพราะ Cohere ใส่คำสั่งเครือข่ายตั้งต้นให้โมเดลพิมพ์ต่อ ซึ่งโมเดลที่ผ่านการฝึกจากคำสั่งเครือข่ายนับพันครั้งก็ทำตัวเหมือน autocomplete เติมที่อยู่เว็บให้เอง บางครั้งก็ดันไปเติมเป็นเซิร์ฟเวอร์ของ Alibaba Cohere ยืนยันว่าการพยายามอัปโหลดครั้งแรกเกิดขึ้นโดยไม่มีการชี้นำแบบนี้ แต่ก็ยอมรับว่าเป็นพฤติกรรมที่พบได้ยาก หลังมีคนเรียกร้องหลักฐานเพิ่ม Cohere จึงปล่อย trace ดิบจากการทดสอบลงบน Hugging Face พร้อมสคริปต์ให้คนอื่นลองทำซ้ำดู ซึ่งนักวิจารณ์คนหนึ่งที่เคยสงสัยบอกว่าหลักฐานค่อนข้างแน่นว่า Qwen สามารถสร้างที่อยู่เว็บที่น่าสงสัยได้เอง แต่ไม่เจอหลักฐานว่า Alibaba ฝัง backdoor หรือ Qwen จงใจปิดบังเจตนา

เรื่องนี้เกิดขึ้นในช่วงที่รัฐบาลหลายประเทศกำลังพิจารณาจะคุมเข้ม AI จากจีนมากแค่ไหน โดยสัปดาห์ก่อน กระทรวงความมั่นคงแห่งมาตุภูมิของสหรัฐฯ สั่งให้หน่วยงานพลเรือนของรัฐบาลกลางถอดผลิตภัณฑ์ของ DeepSeek ออกจากระบบ ส่วน Cohere เรียกร้องให้รัฐบาลระบุให้ชัดว่าข้อจำกัดต่อ AI จีนครอบคลุมถึงโมเดลที่รันบนคอมพิวเตอร์ของรัฐบาลด้วยหรือไม่ Zhang บอกว่าไม่ได้เรียกร้องให้คุมโมเดล open-weight ทั้งหมด แต่บริษัทควรปฏิบัติต่อโมเดล open ไม่ต่างจากโปรแกรมทั่วไปที่ดาวน์โหลดจากอินเทอร์เน็ต ซึ่ง Cohere เองก็ขายโมเดล AI ของตัวเองให้รัฐบาลอยู่ หากหน่วยงานรัฐเริ่มระแวงโมเดลจีนฟรีมากขึ้น ก็อาจเป็นผลดีต่อธุรกิจของ Cohere เอง