แฮกเกอร์ปลดล็อก Nvidia RTX 20/30/40 series ถอดลิมิตความเร็ว AI ครึ่งหนึ่งได้

มีกลุ่ม modders เจาะช่องโหว่ใน firmware ของ Nvidia จนปลดล็อกลิมิตความเร็ว AI ที่ถูกจำกัดไว้ครึ่งหนึ่งบนการ์ดจอ RTX 20, 30 และ 40 series ได้สำเร็จ ตามรายงานของ VideoCardz

ปกติ Nvidia ตั้งค่าให้การคำนวณแบบ FP32-accumulate ทำงานได้แค่ครึ่งความเร็วของ FP16-accumulate บนการ์ดเกมมิ่งทุกรุ่น (ไม่รวมการ์ดโปรอย่าง Turing/Ampere pro) พอปลดล็อกแล้ว RTX 4090 จะได้ tensor rate เพิ่มเป็น 2 เท่าตามสเปกทฤษฎี จาก 165.6 เป็น 331.6 TFLOPS บน FP16 ส่วน RTX 3090 Ti ทำ matrix math ได้เพิ่มขึ้นสูงสุดถึง 80%

แต่ของจริงไม่ได้เพิ่มเยอะขนาดนั้น มีคนทดสอบ RTX 4090 แล้วพบว่า benchmark คำนวณ matrix จริงได้เพิ่มแค่ 12-34% เท่านั้น ส่วนความเร็วตอบของ chatbot แทบไม่เปลี่ยน เพราะตรงนั้นขึ้นกับความเร็ว memory ไม่ใช่ tensor rate

ตอนนี้มีสามโปรเจกต์แยกกันที่ปลดล็อกการ์ดคนละรุ่น ได้แก่ gpu-unlock สำหรับ Ampere, gpu-unlock-ada ที่รองรับ RTX 4090 และบางรุ่น Ada อื่นแบบทดลอง และ turing-unlock สำหรับ RTX 2080 Ti แต่ทุกโปรเจกต์เตือนว่าการแก้ไขแบบนี้มีความเสี่ยง อาจทำให้เครื่อง hang บูตไม่ขึ้น ข้อมูลเสียหาย หรือถึงขั้นฮาร์ดแวร์พัง

Zagitta ผู้ดูแลโปรเจกต์ gpu-unlock บอกผ่าน Hacker News ว่าโปรเจกต์นี้เป็นงานของทีมเขาเอง แต่ตัวช่องโหว่ไม่ใช่ไอเดียของเขา

ช่องโหว่พวกนี้ไม่ใช่ไอเดียของผมเลยแม้แต่น้อย

Zagitta บอกว่ากำลังทำให้ RTX 40 series รองรับเพิ่มขึ้น และมีคนแยกไปทำ fork ปลดล็อกการ์ดกลุ่มนี้ได้บางรุ่นแล้ว แต่การ์ดรุ่น Hopper กับ Blackwell ยังอยู่นอกขอบเขตของวิธีนี้ อย่างน้อยก็ในตอนนี้