Tiny Corp เปิดตัว tinybox Red Kimi ราคา 30,000 ดอลลาร์ ใช้ SSD แทน DRAM

Tiny Corp เพิ่งเปิดตัว tinybox Red Kimi เครื่องตั้งโต๊ะสำหรับรัน AI โดยเฉพาะ ราคาสูงถึง 30,000 ดอลลาร์ครับ

จุดเด่นคือข้างในอัดการ์ดจอ AMD Radeon AI Pro R9700 สี่ตัว รวมหน่วยความจำ GPU ได้ 128 GB เข้ากับ SSD แบบ NVMe อีก 16 ตัว ตัวละ 1 TB รวมเป็น 16 TB เป้าหมายคือให้รันโมเดล Kimi K3 ของ Moonshot AI ที่มีขนาด 2.8 ล้านล้านพารามิเตอร์ ได้บนโต๊ะทำงานแทนที่จะต้องไปรันในดาต้าเซ็นเตอร์

ที่น่าสนใจคือ Tiny Corp บอกว่าซอฟต์แวร์ tinygrad ของตัวเองมีไดรเวอร์ให้ GPU อ่านข้อมูลจาก SSD array ที่มีความเร็ว 238.4 GB/s ได้โดยตรง ไม่ต้องผ่าน CPU เหมือนปกติ เพราะโมเดล Kimi K3 ตัวเต็มมีขนาดราว 1.56 TB ซึ่ง GPU ทั้งสี่ตัวเก็บได้แค่ประมาณ 8% เท่านั้น ที่เหลือเลยต้องพึ่ง SSD แบบแฟลชแทน DRAM ที่แพงกว่า

บริษัทอ้างว่าเครื่องนี้รันได้ 40 tokens ต่อวินาที แต่ยังไม่มีใครนอกบริษัททดสอบจริง และ TechRadar ตั้งข้อสงสัยว่าตัวเลขนี้จะเป็นไปได้ก็ต่อเมื่อ GPU ต้อง cache น้ำหนักโมเดลส่วนใหญ่ไว้ใน VRAM อยู่แล้ว ทั้งที่ความจุรวมเก็บโมเดลได้ไม่ถึง 10%

ถ้าเทียบราคากับทางเลือกอื่นที่รันโมเดลขนาดนี้ได้ Mac Studio รุ่น M5 Ultra ของ Apple ที่มีความจำ 512 GB ราคาเริ่ม 22,299 ดอลลาร์ และขึ้นไปถึง 29,799 ดอลลาร์ถ้าใส่ SSD 16 TB ส่วน DGX Station ของ Nvidia ที่ใช้ชิป GB300 ราคาเกือบ 91,100 ดอลลาร์ แต่มีความจำเพียง 748 GB ขณะที่ Threadripper Halo Station ของ AMD ที่จะมาปี 2027 จะมีความจำรวมสูงสุด 2.6 TB แต่ราคาประมาณ 150,000 ดอลลาร์