ทนายอเมริกันอัปเกรดเซิร์ฟเวอร์ AI โฮมเมดจาก V100 8 ตัว ให้รัน DeepSeek ใกล้ NVFP4 precision

Nick Mermiges ทนายในเมือง Columbia รัฐ South Carolina ที่สร้างเซิร์ฟเวอร์ AI ส่วนตัวจาก Nvidia V100 มือสอง 8 ตัว กลับมาอัปเดตโปรเจกต์อีกครั้ง คราวนี้ดันความแม่นยำของงานประมาณ 80% ขึ้นจาก 2-bit เป็น 4-bit แบบ NVFP4 พร้อมอัปเกรด RAM เป็น 1TB และเพิ่มการ์ด RTX 3090 เข้าไปในเครื่อง

เซิร์ฟเวอร์นี้รันโมเดล DeepSeek V4.1 Flash ควบคู่กับ legal harness ที่เขาสร้างขึ้นเองสำหรับใช้ในงานทนาย โดยเขายืนยันว่าเอกสารทั้งหมดไม่ต้องออกจากออฟฟิศเลย เพราะทุกอย่างรันบนเครื่องของตัวเอง

ของแลกคือความเร็วที่ลดลง งานเขียนโค้ดตกจาก 160-215 เหลือ 150-180 tokens ต่อวินาที แต่ปัญหาเครื่องแครชที่เคยเจอในเวอร์ชันก่อนหายไปแล้ว ซึ่งต้นเหตุที่เคยสงสัยว่าเป็น PCIe จริงๆ แล้วน่าจะมาจาก PSU เสีย

ฝั่งซอฟต์แวร์เขาใช้ Claude Code ช่วยเขียน kernel และรันการทดสอบประสิทธิภาพ ส่วนโมเดล Opus 5.5 และ Fable 5.2 ช่วยจัดการเรื่อง optimization และ re-quantize ตัว experts ของโมเดลใหม่

ตอนนี้เขามี DGX Spark อีก 2 ตัวรันโมเดลเดียวกันสำหรับงาน agent อยู่แล้ว และมีแผนจะเพิ่ม V100 อีก 8 ตัวพร้อมเซิร์ฟเวอร์ตัวที่สองที่มี RAM 512GB เพื่อรัน DeepSeek แบบความแม่นยำสูงอีกตัวในอนาคต