OpenAI, Google, Microsoft, Anthropic ร่วมหนุนมาตรฐานใหม่ให้เว็บปฏิเสธการสแครป AI

OpenAI, Google, Microsoft และ Anthropic ประกาศว่าจะใช้มาตรฐานใหม่ที่ให้เว็บไซต์ปฏิเสธการถูกบอต AI สแครปเนื้อหาไปเทรนโมเดล โดยข้อมูลนี้รายงานก่อนหน้าจาก Search Engine Roundtable ครับ

จุดที่น่าสนใจคือเจ้าของเว็บจะตั้งค่าครั้งเดียวแล้วใช้ได้กับทุกบริษัท AI เลย ไม่ต้องไปตั้งแยกทีละเจ้าแบบที่ผ่านมา

สัญญาณนี้เรียกว่า policy token เสนอโดย Kevin Kelley หัวหน้าทีมเทคนิคด้านมาตรฐานของ Anthropic ภายใต้ IETF และจะฝังอยู่ในไฟล์ robots.txt ของเว็บไซต์ ซึ่งเดิมใช้บอกบอตค้นหาและบอตเก็บถาวรอยู่แล้ว

เรื่องนี้เกิดขึ้นท่ามกลางปัญหาบอต AI แห่สแครปเว็บไซต์เพื่อดูดเนื้อหาไปเทรนโมเดล ก่อนหน้านี้มีความพยายามอื่นๆ อย่างมาตรฐาน RSL ที่ให้เว็บเก็บค่าธรรมเนียมจากบอต และ Cloudflare ที่บล็อกบอต AI เป็นค่าเริ่มต้น

Meta เองก็ส่งสัญญาณสนับสนุนผ่าน Andy Stone หัวหน้าฝ่ายสื่อสาร แต่ยังไม่ยืนยันว่าจะทำตามจริงหรือไม่

เราเชื่อว่าการสร้างสัญญาณร่วมที่สื่อสารความต้องการแบบนี้ไปยังผู้ให้บริการหลายรายพร้อมกันเป็นขั้นตอนสำคัญ และเราหวังจะได้ร่วมงานกับบริษัท AI อื่นๆ เรื่องมาตรฐานและการนำไปใช้ทั่วทั้งอุตสาหกรรม

Microsoft บอกว่าจะมีตัวเลือกละเอียดให้แยกปิดได้ทั้งการเทรน AI และการใช้ AI grounding (การอ้างแหล่งข้อมูลจริงเพื่อลดอาการมโนของ AI) โดยเว็บจะยังติดผลค้นหาบน Bing เหมือนเดิม ส่วน Google ก็มีระบบคล้ายกันที่แยกการแสดงผลในฟีเจอร์ AI search ออกจากการเทรนโมเดล โดยไม่กระทบการติดผลค้นหาปกติ

Anthropic เริ่มใช้สัญญาณนี้แล้ว ส่วน Google และ Microsoft วางแผนรองรับในปีหน้า ขณะที่ OpenAI บอกว่าจะเริ่มใช้ในอีกไม่กี่เดือนข้างหน้า