Cerebras พัฒนาฮาร์ดแวร์ AI ระดับเวเฟอร์และซอฟต์แวร์แบบผสานรวมสำหรับการฝึกและการอนุมานโมเดลประสิทธิภาพสูง Wafer-Scale Engine ของบริษัทขับเคลื่อนระบบ CS-3 และ Cerebras Inference Cloud ซึ่งรองรับเวิร์กโฟลว์ที่เข้ากันได้กับ OpenAI API รวมถึงการติดตั้งใช้งานในสภาพแวดล้อมภายในองค์กร คลาวด์ และเอดจ์ แพลตฟอร์มนี้ได้รับการออกแบบสำหรับการใช้งานต่าง ๆ เช่น การให้บริการโมเดล การปรับแต่งโมเดล การฝึกล่วงหน้า เอเจนต์ AI แบบเรียลไทม์ จีโนมิกส์ การค้นคว้ายา ความปลอดภัยทางไซเบอร์ และการค้นหาในองค์กร Cerebras ผสานรวมชิป ระบบ และซอฟต์แวร์เฉพาะทางสำหรับองค์กรที่สร้างและใช้งานเวิร์กโหลดปัญญาประดิษฐ์ที่มีความต้องการสูง โดยมีพนักงาน 501–1,000 คน
วิศวกรแมชชีนเลิร์นนิง ฝ่ายนำโมเดลขึ้นระบบ
นำโมเดลทรานส์ฟอร์เมอร์ไปทำงานบนฮาร์ดแวร์ตัวเร่ง AI ของ Cerebras และเพิ่มประสิทธิภาพการอนุมาน พัฒนาเส้นทางคอมไพเลอร์ MLIR พร้อมปรับปรุงความถูกต้องของโมเดล เวลาแฝง ปริมาณงาน และประสิทธิภาพการใช้หน่วยความจำ
รายละเอียด
- นำโมเดลใหม่เข้าสู่การใช้งานจริงด้วยการวิเคราะห์สถาปัตยกรรม แปลงน้ำหนักโมเดล พัฒนาเส้นทางการทำงาน และตรวจสอบผลลัพธ์เทียบกับการใช้งานอ้างอิง
- ลดระดับโมเดลให้ทำงานบนฮาร์ดแวร์ Cerebras ด้วย MLIR dialect การแปลงกราฟ lowering pass และการแมปเฉพาะฮาร์ดแวร์
- รองรับ attention การคูณเมทริกซ์ การทำ normalization positional embedding และโอเปอเรเตอร์อื่น ๆ ผ่านการพัฒนาคอมไพเลอร์และเคอร์เนล
- เพิ่มประสิทธิภาพการหลอมรวมโอเปอเรเตอร์ รูปแบบการจัดวางเทนเซอร์ การแบ่ง tile การจัดสรรหน่วยความจำ การเคลื่อนย้ายข้อมูล และการประมวลผลแบบขนาน
- ปรับปรุงประสิทธิภาพช่วง prefill และ decode ด้วยการปรับแต่งการจัดการ KV-cache, batching และ quantization เพื่อให้ได้เวลาแฝง ปริมาณงาน และการใช้หน่วยความจำที่ดีขึ้น
- วิเคราะห์ความคลาดเคลื่อนเชิงตัวเลข และประเมินผลของการเปลี่ยนแปลงความแม่นยำกับการเพิ่มประสิทธิภาพของคอมไพเลอร์ที่มีต่อความถูกต้อง
- ใช้ profiler, execution trace และ hardware counter เพื่อค้นหาคอขวดด้านการคำนวณ หน่วยความจำ การสื่อสาร และ runtime
- ทำงานร่วมกับทีมฮาร์ดแวร์ คอมไพเลอร์ เคอร์เนล และ runtime เพื่อส่งมอบการรองรับโมเดลที่เชื่อถือได้และ benchmark ประสิทธิภาพที่ทำซ้ำได้
คุณสมบัติ
- เชี่ยวชาญการเขียนโปรแกรมด้วย C++ และ Python
- มีประสบการณ์จริงในการนำโมเดลแมชชีนเลิร์นนิงขึ้นระบบและแก้ไขข้อบกพร่องใน PyTorch หรือเฟรมเวิร์กที่เทียบเท่า
- มีประสบการณ์ใช้งาน MLIR จริง โดยเฉพาะ dialect, rewrite pattern, transformation pass และ lowering pipeline
- มีความรู้ด้านพื้นฐานคอมไพเลอร์ รวมถึง intermediate representation, dataflow analysis และ code generation
- เข้าใจสถาปัตยกรรมทรานส์ฟอร์เมอร์ กลไก attention การทำงานกับเทนเซอร์ และความแม่นยำเชิงตัวเลข
- มีประสบการณ์ทำ profiling และเพิ่มประสิทธิภาพ workload บน GPU หรืออุปกรณ์เร่ง AI อื่น ๆ
- สามารถวินิจฉัยปัญหาด้านความถูกต้องและประสิทธิภาพได้ตั้งแต่โค้ดโมเดล ผลลัพธ์คอมไพเลอร์ เคอร์เนล ไปจนถึงการทำงานของ runtime
- มีประสบการณ์ด้านการอนุมานโมเดลภาษาขนาดใหญ่ รวมถึง GQA, sliding-window attention, mixture-of-experts, KV caching และ speculative decoding
- มีประสบการณ์กับ FP16, BF16, FP8 หรือ quantization แบบบิตต่ำ รวมถึงความสมดุลระหว่างความแม่นยำกับประสิทธิภาพ
- มีพื้นฐานด้านการพัฒนาเคอร์เนลสำหรับอุปกรณ์เร่งความเร็ว หรือ backend ของคอมไพเลอร์ที่เจาะจงกับฮาร์ดแวร์
- คุ้นเคยกับการประมวลผลแบบกระจาย การทำ model parallelism และลำดับชั้นหน่วยความจำของอุปกรณ์เร่งความเร็ว
- มีส่วนร่วมใน MLIR, LLVM, เฟรมเวิร์กการอนุมาน หรือโครงการโอเพนซอร์สที่เกี่ยวข้อง
สวัสดิการ
- การจ้างงานที่มั่นคงในสภาพแวดล้อมที่มีความคล่องตัวแบบสตาร์ทอัป
- โอกาสเผยแพร่ผลงานและเปิดซอร์สงานวิจัย AI ขั้นสูง
- ได้ทำงานกับหนึ่งในซูเปอร์คอมพิวเตอร์ AI ที่เร็วที่สุดในโลก
- วัฒนธรรมการทำงานที่ตรงไปตรงมา ไม่เป็นองค์กรแบบลำดับชั้น และเคารพความเชื่อส่วนบุคคล
- มีโอกาสเรียนรู้อย่างต่อเนื่อง เติบโตในสายอาชีพ และได้รับการสนับสนุน
- สถานที่ทำงานที่เท่าเทียมและมีความหลากหลาย