資深人工智慧研究員，基礎模型預訓練 — Aleph Alpha，海德堡
主導 Aleph Alpha 歐洲基礎模型的架構設計與大規模預訓練，制定適用於數千張 GPU 的訓練方法。 與海德堡的混合辦公團隊合作，建立並改良 PyTorch 訓練配方。
說明
- 為 Aleph Alpha 下一代基礎模型開發架構與訓練方法。
- 主導訓練配方的核心元件，包括最佳化器、排程和初始化。
- 改良 PyTorch 架構，提升收斂性、穩定性與訓練效率。
- 建立超參數縮放定律，以及擴展訓練作業的方法。
- 執行小規模代理實驗，預測模型在數千張 GPU 上的表現並降低訓練風險。
- 診斷收斂問題，包括損失突增與發散。
- 排解分散式訓練故障，例如通訊瓶頸、競態條件與同步錯誤。
- 與運算效能、資料、評估及後訓練團隊合作，共同設計系統與模型。
- 將數學分析與實驗證據轉化為可靠的訓練決策。
- 交付可用於正式環境的高品質程式碼，改善模型品質、執行可靠性與效率。
職位要求
- 精通 Python，並熟悉 PyTorch 訓練工作流程。
- 在機器學習研究與軟體工程方面有出色成果，例如已推出的模型、具影響力的開放原始碼成果或已發表的研究。
- 具備扎實的數學基礎，能以形式化方式分析最佳化、縮放行為與訓練動態。
- 深入了解 Transformer 訓練動態、最佳化，以及大型分散式訓練作業。
- 能設計嚴謹的實驗，並運用實驗結果制定穩健的訓練決策。
- 具備大型模型預訓練的實務經驗，例如在大型基礎設施上訓練參數量達 70 億或以上的模型；大型基礎設施例如由 100 張或更多 GPU 組成的叢集。
- 具備良好的軟體工程實務，包括撰寫易維護、經過充分測試的程式碼，以及可重現的實驗。
- 能有效且可靠地實作複雜架構，並除錯模型程式碼、訓練行為與分散式系統。
- 溝通清楚，擅長跨團隊合作。
- 具備在德國工作的資格，並能定期前往海德堡現場協作。
- 加分條件：有在大型 GPU 叢集上使用 Megatron-LM、DeepSpeed 或 torchtitan 等分散式架構訓練大型語言模型或多模態模型的經驗。
- 加分條件：熟悉縮放定律、超參數遷移，或根據代理執行結果預測大規模訓練行為。
- 加分條件：有分析分散式工作的效能，以及診斷訓練異常的經驗。
- 加分條件：接觸過專家混合等稀疏訓練方法。
- 加分條件：有頂尖學術出版品、具影響力的開放原始碼貢獻，或重要的已推出技術成果。
福利待遇
- 30 天帶薪年假。
- 可透過 Wellhub 使用健身與健康服務。
- 透過 nilo.health 提供心理健康支援。
- 公司提供大幅補助的退休金計畫。
- 補助德國全國交通票。
- 提供額外技術設備預算。
- 工時彈性。
- 混合辦公安排。
- 提供 JobRad® 自行車租賃。