Aleph Alpha เป็นบริษัทวิจัยและพัฒนาด้านปัญญาประดิษฐ์ที่สร้างโมเดลขนาดใหญ่สำหรับภาษา ข้อมูลภาพ และการให้เหตุผลเชิงกลยุทธ์ บริษัทตั้งอยู่ในเมืองไฮเดลเบิร์ก ประเทศเยอรมนี โดยมุ่งเปลี่ยนงานวิจัย AI ขั้นสูงให้เป็นระบบที่นำไปใช้งานได้จริง พร้อมสนับสนุนอธิปไตยทางดิจิทัลของยุโรป ผลงานของบริษัทตอบโจทย์การใช้งานของธุรกิจและองค์กรในภาคเทคโนโลยี B2B
นักวิจัย AI อาวุโส ด้านการฝึกโมเดลพื้นฐานล่วงหน้า — Aleph Alpha, ไฮเดลเบิร์ก
เป็นผู้นำด้านสถาปัตยกรรมและการฝึกล่วงหน้าขนาดใหญ่สำหรับโมเดลพื้นฐานยุโรปของ Aleph Alpha พร้อมกำหนดแนวทางการฝึกบน GPU หลายพันตัว สร้างและปรับปรุงสูตรการฝึกด้วย PyTorch ร่วมกับทีมแบบไฮบริดที่ประจำอยู่ในไฮเดลเบิร์ก
รายละเอียด
- พัฒนาสถาปัตยกรรมและวิธีการฝึกสำหรับโมเดลพื้นฐานรุ่นถัดไปของ Aleph Alpha
- เป็นผู้นำองค์ประกอบหลักของสูตรการฝึก ซึ่งรวมถึงตัวปรับเหมาะ ตารางกำหนดการ และการกำหนดค่าเริ่มต้น
- สร้างการปรับปรุงสถาปัตยกรรม PyTorch เพื่อเพิ่มการลู่เข้า เสถียรภาพ และประสิทธิภาพการฝึก
- กำหนดกฎการขยายขนาดไฮเปอร์พารามิเตอร์และวิธีขยายการฝึกให้รองรับขนาดใหญ่ขึ้น
- ทดลองรันงานจำลองขนาดเล็กเพื่อคาดการณ์พฤติกรรมบน GPU หลายพันตัวและลดความเสี่ยงในการฝึก
- วินิจฉัยปัญหาการลู่เข้า รวมถึงค่า loss ที่พุ่งสูงและการไม่ลู่เข้า
- แก้ไขปัญหาการฝึกแบบกระจาย เช่น คอขวดในการสื่อสาร การแย่งใช้ทรัพยากร และข้อผิดพลาดในการซิงโครไนซ์
- ทำงานร่วมกับทีมประสิทธิภาพการประมวลผล ข้อมูล การประเมินผล และการฝึกขั้นหลัง เพื่อร่วมออกแบบระบบและโมเดล
- นำการวิเคราะห์ทางคณิตศาสตร์และหลักฐานจากการทดลองมาใช้ประกอบการตัดสินใจด้านการฝึกอย่างเหมาะสม
- ส่งมอบโค้ดคุณภาพพร้อมใช้งานจริงที่ช่วยยกระดับคุณภาพโมเดล ความน่าเชื่อถือของการรันงาน และประสิทธิภาพ
คุณสมบัติ
- เชี่ยวชาญ Python และคุ้นเคยอย่างมากกับเวิร์กโฟลว์การฝึกด้วย PyTorch
- มีผลงานที่พิสูจน์ความสามารถด้านการวิจัยแมชชีนเลิร์นนิงและวิศวกรรมซอฟต์แวร์ ผ่านโมเดลที่นำไปใช้งานจริง ผลงานโอเพนซอร์สที่มีอิทธิพล หรืองานวิจัยที่เผยแพร่แล้ว
- มีพื้นฐานคณิตศาสตร์แน่นและให้เหตุผลอย่างเป็นระบบเกี่ยวกับการหาค่าเหมาะที่สุด พฤติกรรมการขยายขนาด และพลวัตของการฝึกได้
- มีความรู้เชิงลึกเกี่ยวกับพลวัตการฝึก transformer การหาค่าเหมาะที่สุด และงานฝึกแบบกระจายขนาดใหญ่
- ออกแบบการทดลองอย่างรัดกุมและใช้ผลการทดลองกำหนดแนวทางการฝึกที่เชื่อถือได้
- มีประสบการณ์จริงในการฝึกล่วงหน้าโมเดลขนาดใหญ่ เช่น โมเดลที่มีพารามิเตอร์ตั้งแต่ 7 พันล้านตัวขึ้นไป บนโครงสร้างพื้นฐานขนาดใหญ่ เช่น คลัสเตอร์ที่มี GPU ตั้งแต่ 100 ตัวขึ้นไป
- มีแนวปฏิบัติด้านวิศวกรรมซอฟต์แวร์ที่ดี รวมถึงโค้ดที่ดูแลรักษาได้ ผ่านการทดสอบอย่างเหมาะสม และการทดลองที่ทำซ้ำได้
- นำสถาปัตยกรรมซับซ้อนไปใช้งานได้อย่างมีประสิทธิภาพและเชื่อถือได้ พร้อมแก้ไขข้อบกพร่องในโค้ดโมเดล พฤติกรรมการฝึก และระบบแบบกระจายได้
- สื่อสารชัดเจนและทำงานร่วมกับทีมต่าง ๆ ได้อย่างมีประสิทธิภาพ
- มีคุณสมบัติทำงานในเยอรมนีและพร้อมประสานงานที่สำนักงานในไฮเดลเบิร์กเป็นประจำ
- พิจารณาเป็นพิเศษ: มีประสบการณ์ฝึก LLM หรือโมเดลหลายรูปแบบบนคลัสเตอร์ GPU ขนาดใหญ่ โดยใช้เฟรมเวิร์กแบบกระจาย เช่น Megatron-LM, DeepSpeed หรือ torchtitan
- พิจารณาเป็นพิเศษ: คุ้นเคยกับกฎการขยายขนาด การถ่ายโอนไฮเปอร์พารามิเตอร์ หรือการคาดการณ์พฤติกรรมการฝึกขนาดใหญ่จากการรันงานจำลอง
- พิจารณาเป็นพิเศษ: มีประสบการณ์วิเคราะห์ประสิทธิภาพงานแบบกระจายและวินิจฉัยความผิดปกติในการฝึก
- พิจารณาเป็นพิเศษ: เคยทำงานกับวิธีการฝึกแบบ sparse เช่น Mixture-of-Experts
- พิจารณาเป็นพิเศษ: มีผลงานตีพิมพ์ในเวทีชั้นนำ ผลงานโอเพนซอร์สที่มีอิทธิพล หรืองานเทคนิคสำคัญที่นำไปใช้งานจริง
สวัสดิการ
- วันลาพักร้อนโดยได้รับค่าจ้าง 30 วันต่อปี
- ใช้บริการด้านฟิตเนสและสุขภาวะผ่าน Wellhub
- การสนับสนุนด้านสุขภาพจิตผ่าน nilo.health
- แผนบำนาญบริษัทที่ได้รับเงินสมทบสนับสนุนในสัดส่วนสูง
- บัตรโดยสารทั่วประเทศในเยอรมนีในราคาที่ได้รับการสนับสนุน
- งบประมาณสำหรับจัดหาอุปกรณ์ทางเทคนิคเพิ่มเติม
- เวลาทำงานยืดหยุ่น
- รูปแบบการทำงานแบบไฮบริด
- บริการเช่าจักรยาน JobRad®