シニアAIリサーチャー、基盤モデルの事前学習 — Aleph Alpha、ハイデルベルク
Aleph Alphaの欧州向け基盤モデルのアーキテクチャと大規模事前学習を主導し、数千基のGPUに対応する学習手法を設計します。 ハイデルベルクを拠点とするハイブリッドチームと連携し、PyTorchの学習レシピを構築・改善します。
仕事内容
- Aleph Alphaの次世代基盤モデル向けに、アーキテクチャと学習手法を開発します。
- オプティマイザー、スケジュール、初期化など、学習レシピの中核要素を主導します。
- 収束性、安定性、学習効率を高めるPyTorchアーキテクチャの改善を行います。
- ハイパーパラメーターのスケーリング則と、学習実行を拡大する手法を確立します。
- 小規模な代理実験を実施して数千基のGPUでの挙動を予測し、学習リスクを低減します。
- 損失の急増や発散など、収束に関する問題を診断します。
- 通信ボトルネック、競合状態、同期エラーなど、分散学習の障害をトラブルシューティングします。
- 計算性能、データ、評価、事後学習の各チームと協力し、システムとモデルを共同設計します。
- 数学的な分析と実験結果を、適切な学習上の判断につなげます。
- モデル品質、実行の信頼性、効率を高める、本番環境に対応した高品質なコードを提供します。
応募要件
- Pythonを使いこなし、PyTorchの学習ワークフローに精通していること。
- 機械学習研究とソフトウェアエンジニアリングで確かな実績があること。公開済みモデル、影響力のあるオープンソースの成果、または発表済みの研究などが該当します。
- 数学の確かな基礎を持ち、最適化、スケーリングの挙動、学習ダイナミクスを形式的に考察できること。
- Transformerの学習ダイナミクス、最適化、大規模な分散学習実行について深い知識があること。
- 厳密な実験を設計し、その結果を堅実な学習上の判断に活用できること。
- 大規模モデルの事前学習経験があること。たとえば、100基以上のGPUクラスターなどの大規模な計算基盤で、70億以上のパラメーターを持つモデルを学習した経験。
- 保守しやすく十分にテストされたコードや、再現可能な実験など、健全なソフトウェアエンジニアリングの実践力があること。
- 複雑なアーキテクチャを効率的かつ確実に実装し、モデルコード、学習挙動、分散システムの問題をデバッグできること。
- 明確にコミュニケーションを取り、チーム横断で効果的に協力できること。
- ドイツで就労する資格があり、ハイデルベルクで定期的に対面協業できること。
- 歓迎条件：Megatron-LM、DeepSpeed、torchtitanなどの分散フレームワークを用い、大規模GPUクラスターでLLMやマルチモーダルモデルを学習した経験。
- 歓迎条件：スケーリング則、ハイパーパラメーター転移、または代理実行から大規模学習の挙動を予測する手法への知見。
- 歓迎条件：分散ジョブのプロファイリングや学習時の異常診断の経験。
- 歓迎条件：Mixture-of-Expertsなどのスパース学習手法に触れた経験。
- 歓迎条件：一流の論文、影響力のあるオープンソースへの貢献、または重要な技術成果を製品として提供した実績。
福利厚生
- 有給休暇30日。
- Wellhubを通じたフィットネス・ウェルネスサービスの利用。
- nilo.healthによるメンタルヘルスサポート。
- 会社年金制度への大幅な補助。
- ドイツ全国で利用できる交通チケットの補助。
- 追加の技術機器を購入するための予算。
- 柔軟な勤務時間。
- ハイブリッド勤務制度。
- JobRad®の自転車リース。