Aiven ลดค่า token AI ภายในได้ราว 80% ด้วย open-weight model พร้อมทำ gateway ขายต่อ

Aiven บริษัทผู้ให้บริการ open source database จากฟินแลนด์ เปิดเผยกับ The Register ว่าภายในองค์กรเองสามารถลดค่าใช้จ่ายด้าน AI token ได้ราว 80 เปอร์เซ็นต์ หลังเปลี่ยนมาใช้โมเดลแบบ open-weight แทนโมเดลระดับ frontier จาก OpenAI หรือ Anthropic

Ville Lehto รองประธานฝ่ายกลยุทธ์ของ Aiven บอกว่าช่วงต้นปีที่ผ่านมามีผู้ใช้งานกลุ่มหนึ่งที่ใช้ token หนักมากจนเปลืองงบ บริษัทเลยเลือกไม่ตั้งเพดานงบแบบเข้มงวด แต่หาทางใช้ token ให้คุ้มขึ้นแทน

เราอยากให้เรื่องนี้ไร้แรงเสียดทานที่สุด ให้พนักงานเข้าถึงโมเดล open-weight ได้หลายแบบ ทั้งจากฝั่งตะวันตกและเอเชีย รวมถึงโมเดล frontier ด้วย เราโฟกัสที่กลุ่มผู้ใช้งานหนัก และเห็นค่าใช้จ่ายลดลงราว 80 เปอร์เซ็นต์

เครื่องมือที่ Aiven สร้างขึ้นเรียกว่า gateway ต่อยอดจากเฟรมเวิร์ก open source ชื่อ LiteLLM แล้วเติมฟีเจอร์เรื่องการตั้งงบและควบคุมสิทธิ์การเข้าถึง โดยรันโมเดลผ่าน GPU ที่เช่ามาและโฮสต์โมเดลเองด้วย

Lehto บอกว่า Aiven ยังใช้โมเดล frontier อยู่ แต่เฉพาะช่วงวางแผนงาน ส่วนงานส่วนใหญ่ที่ลงมือทำจริงใช้โมเดล open-weight แทน ซึ่งเป็นสูตรที่บริษัทมองว่าได้ผลดีที่สุดในตอนนี้

ตอนนี้ Aiven วางแผนเปิด gateway ตัวนี้ให้ลูกค้าใช้เป็นบริการ เพื่อช่วยสลับโมเดล open-weight เข้าออกจากขั้นตอนทำงานได้ง่ายขึ้นและคุมค่าใช้จ่ายได้ดีขึ้น ลูกค้าของ Aiven ในปัจจุบันมีทั้ง Conrad, Dojo, Sophos และ Avaya