Google ร่วม OpenAI, Anthropic รับคำสั่งใหม่ใน robots.txt ให้เว็บบล็อกการเก็บข้อมูลเทรน AI

Google, Anthropic, OpenAI และ Microsoft ประกาศจะรองรับคำสั่งใหม่ใน robots.txt ที่ให้เว็บไซต์กำหนดได้ว่าอยากให้ข้อมูลของตัวเองถูกเก็บไปเทรน generative AI หรือไม่ครับ ข้อเสนอนี้มาจาก Kevin Kelley หัวหน้าทีมมาตรฐานของ Anthropic ที่ยื่นเข้า IETF องค์กรกำหนดมาตรฐานเปิดของอินเทอร์เน็ต

จุดที่น่าสนใจคือ เดิมทีเจ้าของเว็บต้องไล่ระบุบ็อตของแต่ละบริษัทแยกกันทีละตัว แต่ข้อเสนอใหม่นี้ทำให้หลายบริษัท AI ยอมรับสัญญาณเดียวกันร่วมกัน แค่เพิ่ม User-Agent ชื่อเฉพาะ usage ai-training ในไฟล์ robots.txt ก็บล็อกบ็อตที่มาเก็บข้อมูลเพื่อเทรน AI โดยเฉพาะได้เลย

เว็บไซต์ยังเลือกเปิดให้สแครปเฉพาะบางส่วนได้ เช่น ชุดข้อมูลสื่อสำหรับสื่อมวลชนบนหน้าเว็บ ผ่านส่วน Allow แต่คำสั่งนี้ไม่ได้บล็อกการ crawl ทั้งหมด และไม่ทำให้เนื้อหาหายจากผลค้นหา Google ด้วย โดย Google จะตีความสัญญาณนี้เป็นการหยุดเฉพาะ user agent ที่ชื่อ Google-Extended ซึ่งเป็นตัวที่เก็บข้อมูลไปเทรนโมเดล Gemini

ต้องย้ำว่าคำสั่งนี้ย้อนหลังไม่ได้ ถ้าบริษัทเคยสแครปหน้าเว็บไปแล้วก่อนหน้านี้ ข้อมูลก็ยังอยู่กับเขา มันจะช่วยกันได้แค่การสแครปในอนาคตเท่านั้น

ฝั่งการเริ่มใช้งานจริง Anthropic เริ่มรองรับคำสั่งนี้แล้ว ส่วน Microsoft บอกว่าจะเริ่มรองรับวันที่ 1 กุมภาพันธ์ 2027 ขณะที่ Google ก็จะรองรับช่วงต้นปี 2027 เช่นกัน ส่วน OpenAI ให้คำมั่นว่าจะนำสัญญาณนี้มาใช้ภายในไม่กี่เดือนข้างหน้า