Aleph Alpha est une entreprise de recherche et d’applications en intelligence artificielle qui développe des modèles à grande échelle pour le langage, les données visuelles et le raisonnement stratégique. Basée à Heidelberg, en Allemagne, l’entreprise s’attache à transformer la recherche avancée en IA en systèmes opérationnels, tout en contribuant à la souveraineté numérique de l’Europe. Ses activités répondent à des cas d’usage professionnels et organisationnels dans le secteur technologique B2B.
Chercheur senior en IA, préentraînement de modèles de fondation — Aleph Alpha, Heidelberg
Pilotez les travaux d’architecture et de préentraînement à grande échelle des modèles de fondation européens d’Aleph Alpha, en définissant des méthodes d’entraînement pour des milliers de GPU. Développez et affinez des recettes d’entraînement PyTorch avec l’équipe hybride basée à Heidelberg.
Description
- Développer des architectures et des méthodes d’entraînement pour la prochaine génération de modèles de fondation d’Aleph Alpha.
- Piloter des composants essentiels des recettes d’entraînement, notamment les optimiseurs, les calendriers et l’initialisation.
- Créer des améliorations d’architecture PyTorch qui renforcent la convergence, la stabilité et l’efficacité de l’entraînement.
- Établir des lois de mise à l’échelle des hyperparamètres et des méthodes pour faire évoluer les entraînements.
- Mener de petites expériences proxy afin de prévoir le comportement sur des milliers de GPU et de réduire les risques liés à l’entraînement.
- Diagnostiquer les problèmes de convergence, notamment les pics de perte et la divergence.
- Résoudre les défaillances de l’entraînement distribué, telles que les goulots d’étranglement de communication, les conditions de concurrence et les erreurs de synchronisation.
- Travailler avec les équipes Performance de calcul, Données, Évaluation et Post-entraînement à la co-conception des systèmes et des modèles.
- Transformer les analyses mathématiques et les preuves expérimentales en décisions d’entraînement judicieuses.
- Fournir un code de qualité production qui améliore la qualité des modèles, la fiabilité des exécutions et l’efficacité.
Exigences
- Maîtrise de Python et excellente connaissance des processus d’entraînement avec PyTorch.
- Expérience confirmée en recherche sur l’apprentissage automatique et en ingénierie logicielle, attestée par des modèles mis en production, des travaux open source influents ou des recherches publiées.
- Solide formation en mathématiques et capacité à raisonner formellement sur l’optimisation, le comportement à l’échelle et la dynamique de l’entraînement.
- Connaissance approfondie de la dynamique d’entraînement des transformers, de l’optimisation et des entraînements distribués de grande ampleur.
- Capacité à concevoir des expériences rigoureuses et à s’appuyer sur leurs résultats pour prendre des décisions d’entraînement robustes.
- Expérience pratique du préentraînement de grands modèles, tels que des modèles de 7 milliards de paramètres ou plus, sur une infrastructure importante, par exemple des clusters de 100 GPU ou plus.
- Bonnes pratiques d’ingénierie logicielle, notamment un code maintenable et bien testé ainsi que des expériences reproductibles.
- Capacité à implémenter des architectures complexes de manière efficace et fiable, et à déboguer le code des modèles, le comportement de l’entraînement et les systèmes distribués.
- Communication claire et collaboration efficace entre équipes.
- Autorisation de travailler en Allemagne et disponibilité pour collaborer régulièrement sur site à Heidelberg.
- Atout : expérience de l’entraînement de LLM ou de modèles multimodaux sur de grands clusters de GPU avec des frameworks distribués tels que Megatron-LM, DeepSpeed ou torchtitan.
- Atout : connaissance des lois de mise à l’échelle, du transfert d’hyperparamètres ou de la prévision du comportement d’entraînements à grande échelle à partir d’exécutions proxy.
- Atout : expérience du profilage de tâches distribuées et du diagnostic d’anomalies d’entraînement.
- Atout : expérience des méthodes d’entraînement parcimonieux, comme Mixture-of-Experts.
- Atout : publications de premier plan, contributions open source influentes ou réalisations techniques importantes mises en production.
Avantages
- 30 jours de congés annuels payés.
- Accès à des offres de fitness et de bien-être via Wellhub.
- Soutien en santé mentale par l’intermédiaire de nilo.health.
- Régime de retraite d’entreprise largement subventionné.
- Titre de transport national en Allemagne subventionné.
- Budget pour du matériel technique supplémentaire.
- Horaires de travail flexibles.
- Organisation du travail hybride.
- Location de vélos JobRad®.