Homelabber ใช้ RTX 3090 สองตัวรันโมเดล AI 2.8 ล้านล้านพารามิเตอร์ ได้ 3.11 tokens/s
นักเล่น Homelab อัปเกรดระบบ Optane เดิมด้วย RAM drive และ RTX 3090 สองตัว ดันความเร็วรัน Kimi K3 โมเดลขนาด 2.8 ล้านล้านพารามิเตอร์ขึ้นอีกระดับ
AI ภาพสร้างด้วย AI ไม่ใช่ภาพถ่ายจริงมีคนโพสต์ใน Reddit เล่าอัปเดตโปรเจกต์ homelab ของตัวเอง เอา RTX 3090 สองตัวมาช่วยรันโมเดล AI ชื่อ Moonshot Kimi K3 ที่มีขนาดใหญ่ถึง 2.8 ล้านล้านพารามิเตอร์ ได้ความเร็ว generation 3.11 tokens ต่อวินาที
จุดที่น่าสนใจคือตัวโมเดลไฟล์หนักถึง 865 GB แต่ VRAM ของ GPU สองตัวรวมกันมีแค่ 48 GB เท่านั้น เหตุผลที่รันได้เพราะ Kimi K3 เป็นโมเดลแบบ mixture-of-experts ที่มี experts ทั้งหมด 896 ตัว แต่แต่ละ token จะเลือกใช้แค่ 16 ตัว ทำให้พารามิเตอร์ที่ทำงานจริงต่อครั้งเหลือแค่ 104,000 ล้านตัวจากทั้งหมด 2.8 ล้านล้าน
เดิมระบบนี้ใช้หน่วยความจำ Optane เก็บส่วนที่ GPU จุไม่พอ รอบนี้ผู้สร้างลองย้าย shard บางส่วนไปไว้บน RAM drive แทน โดยย้ายไป 45 จาก 94 shard หรือคิดเป็น 414 GB จาก 865 GB ผลคือความเร็ว generation เพิ่มขึ้น 41% และความเร็ว prompt evaluation เพิ่มขึ้น 26% จนได้ prompt evaluation ที่ 16.8 tokens ต่อวินาที
ถ้าไม่มี RAM drive เลย ใช้แค่ GPU สองตัวกับ Optane ความเร็วจะเหลือ generation 2.20 tokens ต่อวินาที และ prompt evaluation 13.3 tokens ต่อวินาที ผู้สร้างบอกว่าตัวเลขที่ได้อยู่ในช่วงที่เคยคาดไว้ตั้งแต่ตอนเริ่มโปรเจกต์ว่าจะอยู่ระหว่าง 2-4 tokens ต่อวินาที
ปัญหาความร้อนยังเป็นเรื่องใหญ่ หน่วยความจำ Optane ร้อนมากจนต้องมีพัดลมเสริมแบบ blower 12W สำหรับโมดูล Optane โดยเฉพาะ ส่วนแผนต่อไปคือลองทำ customized quantization เพื่อดูว่าจะดันความเร็วขึ้นได้อีกหรือไม่ แต่ผู้สร้างย้ำว่าเรื่องความเร็วอย่างเดียวไม่พอ คุณภาพของผลลัพธ์ก็ต้องนำมาพิจารณาด้วย
ที่มาของข่าว
- สำนักข่าว
- Tom's Hardware
- พาดหัวต้นฉบับ
- Homelabber’s second-gen Optane build uses two RTX 3090s to run 2.8-trillion-parameter Kimi AI model at 3.11 tokens per second
- เผยแพร่ต้นทาง
- 21 พ.ย. 2569 19:00 น.



