Aleph Alpha es una empresa de investigación y aplicaciones de inteligencia artificial que desarrolla modelos a gran escala para el lenguaje, los datos visuales y el razonamiento estratégico. Con sede en Heidelberg, Alemania, la empresa se centra en convertir la investigación avanzada en IA en sistemas operativos, al tiempo que apoya la soberanía digital de Europa. Su trabajo responde a casos de uso empresariales y organizativos en el sector tecnológico B2B.
Investigador sénior de IA, preentrenamiento de modelos fundacionales — Aleph Alpha, Heidelberg
Lidera el diseño de arquitecturas y el preentrenamiento a gran escala de los modelos fundacionales europeos de Aleph Alpha, definiendo métodos de entrenamiento para miles de GPU. Desarrolla y perfecciona recetas de entrenamiento en PyTorch junto con el equipo híbrido de Heidelberg.
Descripción
- Desarrolla arquitecturas y métodos de entrenamiento para la próxima generación de modelos fundacionales de Aleph Alpha.
- Lidera componentes clave de las recetas de entrenamiento, incluidos optimizadores, programaciones e inicialización.
- Crea mejoras de arquitectura en PyTorch que refuerzan la convergencia, la estabilidad y la eficiencia del entrenamiento.
- Establece leyes de escalado de hiperparámetros y métodos para escalar ejecuciones de entrenamiento.
- Realiza pequeños experimentos proxy para prever el comportamiento en miles de GPU y reducir los riesgos del entrenamiento.
- Diagnostica problemas de convergencia, incluidos picos en la pérdida y divergencia.
- Soluciona fallos del entrenamiento distribuido, como cuellos de botella de comunicación, condiciones de carrera y errores de sincronización.
- Colabora con los equipos de rendimiento de cómputo, datos, evaluación y postentrenamiento en el codiseño de sistemas y modelos.
- Convierte análisis matemáticos y pruebas experimentales en decisiones de entrenamiento bien fundamentadas.
- Entrega código de calidad para producción que mejora la calidad de los modelos, la fiabilidad de las ejecuciones y la eficiencia.
Requisitos
- Dominio de Python y sólido conocimiento de los flujos de trabajo de entrenamiento con PyTorch.
- Trayectoria demostrada en investigación de aprendizaje automático e ingeniería de software, acreditada mediante modelos publicados, proyectos influyentes de código abierto o investigaciones publicadas.
- Sólida formación matemática y capacidad para razonar formalmente sobre optimización, comportamiento del escalado y dinámica del entrenamiento.
- Conocimiento profundo de la dinámica de entrenamiento de transformers, la optimización y las ejecuciones de entrenamiento distribuido a gran escala.
- Capacidad para diseñar experimentos rigurosos y utilizar sus resultados para orientar decisiones de entrenamiento sólidas.
- Experiencia práctica en el preentrenamiento de modelos grandes, como modelos de 7.000 millones o más de parámetros, en infraestructuras de gran escala, como clústeres de 100 GPU o más.
- Buenas prácticas de ingeniería de software, incluido código mantenible y bien probado, y experimentos reproducibles.
- Capacidad para implementar arquitecturas complejas de forma eficiente y fiable, y depurar código de modelos, comportamiento del entrenamiento y sistemas distribuidos.
- Comunicación clara y colaboración eficaz entre equipos.
- Autorización para trabajar en Alemania y disponibilidad para colaborar presencialmente con regularidad en Heidelberg.
- Se valorará la experiencia entrenando LLM o modelos multimodales en grandes clústeres de GPU con marcos distribuidos como Megatron-LM, DeepSpeed o torchtitan.
- Se valorará el conocimiento de leyes de escalado, transferencia de hiperparámetros o previsión del comportamiento del entrenamiento a gran escala a partir de ejecuciones proxy.
- Se valorará la experiencia perfilando trabajos distribuidos y diagnosticando anomalías de entrenamiento.
- Se valorará la exposición a métodos de entrenamiento disperso, como Mixture-of-Experts.
- Se valorarán publicaciones de primer nivel, contribuciones influyentes al código abierto o logros técnicos significativos en sistemas publicados.
Beneficios
- 30 días de vacaciones anuales remuneradas.
- Acceso a servicios de fitness y bienestar a través de Wellhub.
- Apoyo para la salud mental a través de nilo.health.
- Plan de pensiones de empresa con una subvención considerable.
- Abono de transporte nacional en Alemania subvencionado.
- Presupuesto para equipamiento técnico adicional.
- Horario de trabajo flexible.
- Modalidad de trabajo híbrida.
- Leasing de bicicletas JobRad®.