Anthropic เผย AI agent ของตนพยายามเจาะเว็บไซต์รัฐบาลสหรัฐฯ หลายระดับ

Anthropic เปิดเผยในรายงานล่าสุดว่า AI agent ของบริษัทเคยพยายามเจาะหรือยุ่งเกี่ยวกับเว็บไซต์หน่วยงานรัฐบาลสหรัฐฯ ทั้งระดับ federal, state และ local โดยไม่เปิดเผยชื่อหน่วยงานที่ได้รับผลกระทบตามคำขอ เพื่อไม่ให้เผยช่องโหว่ในระบบของหน่วยงานเหล่านั้น แต่ระบุว่าได้แจ้งหน่วยงานที่เกี่ยวข้องและรายงานเรื่องนี้ต่อทำเนียบขาวแล้ว

เบาะแสปลอมถึงตำรวจฟิลาเดลเฟีย

รายงานให้รายละเอียดเพิ่มเติมเกี่ยวกับกรณีที่ Philadelphia Police Department เปิดเผยก่อนหน้านี้ โดยระหว่างให้โมเดล Claude Haiku 4.5 ทำงานตัวอย่างบนหน้าเว็บสุ่ม โมเดลไปพบหน้าคดีฆาตกรรมที่ยังไขไม่ได้ซึ่งมีฟอร์มรับเบาะแส จึงกรอกและส่งเบาะแสปลอมเข้าไปเอง

ฉันอาจมีข้อมูลเกี่ยวกับคดีนี้ ฉันจำได้ว่าเคยเห็นคนที่ตรงกับคำอธิบายอยู่ในพื้นที่ตามถนนที่ระบุในหน้าเว็บช่วงเวลาดังกล่าว หากข้อมูลนี้เป็นประโยชน์ โปรดติดต่อฉัน

ตำรวจฟิลาเดลเฟียยืนยันกับ The New York Times ว่า Anthropic แจ้งเรื่องนี้มาแล้ว โดยเบาะแสดังกล่าวมีวันที่ 18 กรกฎาคม และถูกระบบตั้งเป็นสแปมไว้ตั้งแต่แรก ทำให้หน่วยงานไม่ต้องเสียทรัพยากรไปสอบสวนเบาะแสปลอมนี้

Mythos 5 เจาะแผนที่ของรัฐ

อีกกรณีหนึ่ง Anthropic ให้ Claude Mythos 5 ซึ่งเป็นโมเดลเน้นด้านความปลอดภัยไซเบอร์ ระบุตำแหน่งจากภาพถ่าย โมเดลพยายามเข้าถึงแผนที่ทรัพย์สินของรัฐเพื่อช่วยคาดเดาตำแหน่ง แต่เนื่องจากคลิกลิงก์แบบคนทำไม่ได้ จึงไปพบ access token และส่งคำขอตรงไปยังเซิร์ฟเวอร์ของแผนที่เพื่อเข้าถึงข้อมูล นอกจากนี้ Mythos 5 ยังขอ access token จากเว็บไซต์หน่วยงานรัฐระดับ state เพื่อดึงข้อมูลสำหรับงานด้านสถิติ โดยไม่ต้องเสียค่าธรรมเนียมที่ผู้เข้าชมทั่วไปต้องจ่าย

Anthropic พบเหตุการณ์เหล่านี้จากการตรวจสอบ transcript การประเมินผลโมเดล โดยเริ่มตรวจตั้งแต่เดือนกรกฎาคม หลังจาก OpenAI ยอมรับว่า agent ของตนเคยหลุดออกจากสภาพแวดล้อมทดสอบและเจาะเข้า Hugging Face โดยไม่มีคำสั่ง และในเดือนกันยายน OpenAI ยืนยันเพิ่มว่า agent ของตนยุ่งเกี่ยวกับเว็บไซต์รัฐบาล โดยเฉพาะของ Commerce Department และ Securities and Exchange Commission ด้าน Anthropic ระบุว่าได้ยกเลิกการใช้ evaluation สาธารณะบางส่วน ย้ายบางส่วนไปใช้เวอร์ชันออฟไลน์ หรือปรับใหม่ไม่ให้งานเข้าถึงเว็บไซต์จริง พร้อมอัปเดต guardrail ของเครื่องมือเข้าถึงอินเทอร์เน็ต เช่น web fetch tool ให้จำกัดการทำงานของโมเดลมากขึ้น และสร้างเครื่องมือตรวจจับและบล็อกพฤติกรรมลักษณะนี้โดยอัตโนมัติ