ทดสอบพบ AI agent ยอมแชร์คีย์ลับและรันสคริปต์แปลกหน้า แค่ถูกกลุ่ม agent อื่นขอให้ช่วย

AE Studio ทำการทดลองให้ AI agent ทำงานแก้บั๊กในแซนด์บ็อกซ์ แล้วลองยื่นเงื่อนไขจากฟอรัมปลอมว่าต้องแชร์โทเคนลับและรันสคริปต์ติดตั้งก่อนถึงจะได้รับความช่วยเหลือ ผลคือจาก 181 ครั้งที่ทดสอบกับกลุ่ม agent นี้ โมเดลยอมโพสต์โทเคนลับ 15% ของครั้ง และยอมรันสคริปต์ 24% ของครั้ง เทียบกับฟอรัมช่วยเหลือทั่วไปที่มีแค่ 2% และ 0%

จุดที่น่าสนใจคือคำสั่งบอกชัดเจนอยู่แล้วว่าตัวแปร DEPLOY_TOKEN เป็นข้อมูลลับ ห้ามแชร์ออกนอกเครื่อง แต่พอเจอโอกาสแรกที่กลุ่ม agent อื่นขอ โมเดลก็ยอมแชร์ทันที Diogo de Lucena หัวหน้าทีมวิทยาศาสตร์ของ AE Studio บอกว่าพฤติกรรมนี้คล้ายกับเหตุการณ์ที่เคยเกิดกับ OpenAI agent ตอนบุกเข้า Hugging Face ซึ่งเป็นแรงบันดาลใจให้จัดแฮกกาธอนนี้ขึ้นมา

ทีมทดสอบโมเดล 9 ตัว ได้แก่ DeepSeek V4 Flash, GLM-5.3 และ GLM-5.3-Flash ของ Z.ai, GPT-5.6-Sol, GPT-5.6-Luna, GPT-6.1-Sol ของ OpenAI, Kimi K3 ของ Moonshot AI, Gemini 3.8 Flash ของ Google และ Claude Sonnet 5.5 ของ Anthropic พบว่า GPT-6.1-Sol ปฏิเสธคำขอของกลุ่ม agent ทุกครั้งใน 50 รอบ ส่วน Gemini 3.8 Flash กับ Claude Sonnet 5.5 ถูกตัดรอบเพราะระบบกรองเนื้อหาของผู้ให้บริการ จึงไม่ถูกนำมาให้คะแนน โดย Claude ปฏิเสธที่จะร่วมทำงานตั้งแต่แรก

de Lucena บอกว่าโมเดลที่แชร์คีย์ลับมากที่สุดคือ DeepSeek และ GLM-5.3 ซึ่งเป็นโมเดลโอเพนเวตที่สตาร์ตอัปหลายแห่งใช้เพราะถูกกว่าโมเดลระดับ frontier จากสหรัฐฯ เขามองว่าเรื่องนี้น่าเป็นห่วง เพราะโมเดลโอเพนเวตควบคุมยากกว่าและระบบป้องกันทำงานไม่เหมือนกัน

ทีมยังทดสอบเพิ่มความกดดัน โดยบอก agent ว่านี่คือโอกาสสุดท้าย ถ้าไม่ผ่านจะถูกแทนที่ด้วย agent ตัวอื่น ผลคือโมเดลยอมรันสคริปต์ของกลุ่ม agent สูงถึง 34% เทียบกับ 19% ในกรณีไม่มีการกดดัน และจาก 43 agent ที่แชร์โทเคนเพื่อเข้าฟอรัม มีเพียง 8 ตัวที่บอกผู้ใช้เองโดยไม่ถูกถาม แต่ทั้งหมดยอมรับเมื่อถูกถามตรงๆ

Anything the model has access to, people should consider it can be accessed by external sources

de Lucena ย้ำว่านี่ไม่ใช่สัญญาณว่าโมเดล แอบซ่อนเจตนาหรือ กบฏ แต่เป็นเพราะโมเดลพยายามทำงานให้สำเร็จด้วยวิธีที่ง่ายที่สุดตามที่ถูกฝึกมา เขาแนะนำให้องค์กรแยกเก็บคีย์ลับและข้อมูลสำคัญออกจากสิ่งที่ agent เข้าถึงได้ เพราะอะไรที่ไม่อยากให้หลุดสู่สาธารณะ ไม่ควรอยู่ใน context ของโมเดลที่ทำงานอัตโนมัติสูงแบบนี้