งานล่าสุดที่ MatX

MatX เป็นบริษัทด้านฮาร์ดแวร์และปัญญาประดิษฐ์ที่พัฒนาชิปเร่งความเร็วประสิทธิภาพสูงสำหรับโมเดลภาษาขนาดใหญ่และห้องปฏิบัติการ AI แนวหน้า แพลตฟอร์ม MatX One ได้รับการออกแบบมาสำหรับเวิร์กโหลดทรานส์ฟอร์เมอร์แบบหนาแน่นและแบบ mixture-of-experts โดยผสาน SRAM บนชิปสำหรับจัดเก็บน้ำหนักของโมเดลเข้ากับ HBM สำหรับจัดเก็บคีย์-แวลูของบริบทที่มีความยาวมาก สถาปัตยกรรมนี้มุ่งรองรับเวิร์กโหลดการฝึก การเติมข้อมูลล่วงหน้า การถอดรหัส และการเรียนรู้แบบเสริมกำลังที่มีเวลาแฝงต่ำ พร้อมการเชื่อมต่อแบบขยายทั้งในระดับระบบและระหว่างระบบสำหรับคลัสเตอร์หลายชิป MatX ยังมีโมเดลการเขียนโปรแกรมที่มุ่งให้นักพัฒนาควบคุมตัวเร่งความเร็วได้โดยตรง โดยเน้นเทคโนโลยีไปที่ระบบ AI ที่ใช้โมเดลขนาดใหญ่ แทนที่จะเป็นโมเดลขนาดเล็กกว่า โครงข่ายประสาทแบบคอนโวลูชัน หรือเวิร์กโหลดด้านการแนะนำ