Meta ใช้ชิป TPU ของ Google รัน AI จริงในศูนย์ข้อมูลแล้ว ผ่าน PyTorch เวอร์ชันใหม่

Google ประกาศผ่านบล็อกนักพัฒนาว่า TPU ชิป AI ของตัวเอง ตอนนี้รันงาน AI จริงอยู่ในศูนย์ข้อมูลของ Meta แล้วครับ ผ่านเอนจิน inference ตัวใหม่ชื่อ SGLang-TorchTPU ที่ใช้งานร่วมกับ PyTorch ได้โดยตรง พร้อมปล่อยเวอร์ชัน vLLM แบบเดียวกันเป็นโอเพนซอร์สด้วย

ก่อนหน้านี้ทั้ง SGLang และ vLLM ต้องพึ่ง JAX ซึ่งเป็นเฟรมเวิร์กของ Google เองถึงจะรันบน TPU ได้ แต่เวอร์ชันใหม่นี้ทำให้ TPU กลายเป็นตัวเลือกที่ใช้กับ PyTorch ได้โดยไม่ต้องเขียนโค้ดใหม่มาก Zongwei Zhou หัวหน้าทีม PyTorch-TPU ของ Meta บอกว่า ตอนนี้ SGLang-TorchTPU รันงานจริงใน Meta แล้ว หลังความร่วมมือสามฝ่ายระหว่าง Meta, Google และทีม SGLang ที่อยู่ภายใต้สตาร์ตอัป RadixArk ของผู้สร้าง SGLang เอง

Jana van Greunen ผู้อำนวยการฝ่าย PyTorch engineering ของ Meta อธิบายเหตุผลที่ร่วมมือครั้งนี้ว่า

Meta จะถูกจำกัดด้วยสถาปัตยกรรมฮาร์ดแวร์เดียวไม่ได้ และ TorchTPU ช่วยให้เรานำงาน PyTorch ไปรันบน Google TPU ได้

นี่ไม่ใช่ครั้งแรกที่ Meta ลองใช้ TPU มีรายงานจาก SemiAnalysis ว่าทีมวิจัยของ Meta เคยใช้ TPU ผ่านสะพานเชื่อม PyTorch/XLA ตั้งแต่ปี 2020 ถึง 2023 ก่อนยกเลิกสัญญาไป ตอนนี้ยังไม่ชัดว่า TPU ที่ใช้งานจริงอยู่ที่ไหน แต่มีรายงานว่าก่อนหน้านี้ทั้งสองฝ่ายเคยคุยเรื่องเช่า TPU จาก Google Cloud ในปี 2026 และซื้อในปี 2027 ก่อนที่ Meta จะมีรายงานว่าเซ็นสัญญาเช่าระยะยาวหลายปีไปแล้ว

เรื่องนี้เกิดขึ้นหนึ่งวันหลัง Amazon ประกาศโอเพนซอร์ส TorchNeuron สำหรับชิป Trainium2 และ Trainium3 ของตัวเองในงานประชุมเดียวกัน ซึ่งทั้งสองค่ายดูเหมือนพยายามลดการพึ่งพาซอฟต์แวร์ของ Nvidia ด้านความเร็ว มีรายงานว่าชุด vLLM ที่ปรับแต่งแล้วรันโมเดล Kimi K3 ของ Moonshot AI ที่มี 2.8 ล้านล้านพารามิเตอร์ ทำความเร็วได้เกิน 700 token ต่อวินาทีต่อผู้ใช้ บนชิป Ironwood รุ่นที่ 7 จำนวน 16 ตัว โดยใช้เทคนิค speculative decoding ช่วยเร่งความเร็ว เทียบกับการทดสอบบน Nvidia GB200 16 ตัวที่ไม่ได้ใช้ speculative decoding ซึ่งทำได้ 452 token ต่อวินาที ฝั่ง SGLang-TorchTPU จะเพิ่มโมเดลรองรับต่อไปเรื่อยๆ เริ่มที่ DeepSeek V4.1 Flash และ Reflection Beam