A Aleph Alpha é uma empresa de pesquisa e aplicações de inteligência artificial que desenvolve modelos de grande escala para linguagem, dados visuais e raciocínio estratégico. Com sede em Heidelberg, na Alemanha, a empresa se concentra em transformar pesquisas avançadas de IA em sistemas operacionais, ao mesmo tempo que apoia a soberania digital da Europa. Seu trabalho atende a casos de uso empresariais e organizacionais no setor de tecnologia B2B.
Pesquisador(a) sênior de IA, pré-treinamento de modelos fundacionais — Aleph Alpha, Heidelberg
Lidere o trabalho de arquitetura e pré-treinamento em larga escala dos modelos fundacionais europeus da Aleph Alpha, definindo métodos de treinamento para milhares de GPUs. Desenvolva e refine receitas de treinamento em PyTorch com a equipe híbrida baseada em Heidelberg.
Descrição
- Desenvolva arquiteturas e métodos de treinamento para a próxima geração de modelos fundacionais da Aleph Alpha.
- Lidere componentes centrais das receitas de treinamento, incluindo otimizadores, cronogramas e inicialização.
- Crie melhorias de arquitetura em PyTorch que fortaleçam a convergência, a estabilidade e a eficiência do treinamento.
- Estabeleça leis de escala de hiperparâmetros e métodos para ampliar execuções de treinamento.
- Execute pequenos experimentos proxy para prever o comportamento em milhares de GPUs e reduzir os riscos do treinamento.
- Diagnostique problemas de convergência, incluindo picos na perda e divergência.
- Solucione falhas de treinamento distribuído, como gargalos de comunicação, condições de corrida e erros de sincronização.
- Trabalhe com as equipes de desempenho computacional, dados, avaliação e pós-treinamento no codesenho de sistemas e modelos.
- Transforme análises matemáticas e evidências experimentais em decisões de treinamento bem fundamentadas.
- Entregue código de qualidade para produção que melhore a qualidade dos modelos, a confiabilidade das execuções e a eficiência.
Requisitos
- Domínio de Python e grande familiaridade com fluxos de trabalho de treinamento em PyTorch.
- Histórico comprovado em pesquisa de aprendizado de máquina e engenharia de software, demonstrado por modelos lançados, projetos influentes de código aberto ou pesquisas publicadas.
- Sólida base matemática e capacidade de raciocinar formalmente sobre otimização, comportamento de escala e dinâmica de treinamento.
- Conhecimento aprofundado da dinâmica de treinamento de transformers, otimização e execuções de treinamento distribuído em larga escala.
- Capacidade de projetar experimentos rigorosos e usar seus resultados para orientar decisões robustas de treinamento.
- Experiência prática em pré-treinar modelos grandes, como modelos com 7 bilhões ou mais de parâmetros, em infraestrutura substancial, como clusters com 100 GPUs ou mais.
- Boas práticas de engenharia de software, incluindo código sustentável e bem testado e experimentos reproduzíveis.
- Capacidade de implementar arquiteturas complexas com eficiência e confiabilidade, além de depurar código de modelos, comportamento de treinamento e sistemas distribuídos.
- Comunicação clara e colaboração eficaz entre equipes.
- Elegibilidade para trabalhar na Alemanha e disponibilidade para colaboração presencial regular em Heidelberg.
- Diferencial: experiência no treinamento de LLMs ou modelos multimodais em grandes clusters de GPU com frameworks distribuídos como Megatron-LM, DeepSpeed ou torchtitan.
- Diferencial: familiaridade com leis de escala, transferência de hiperparâmetros ou previsão do comportamento de treinamentos em larga escala a partir de execuções proxy.
- Diferencial: experiência em criar perfis de trabalhos distribuídos e diagnosticar anomalias de treinamento.
- Diferencial: contato com métodos de treinamento esparso, como Mixture-of-Experts.
- Diferencial: publicações de destaque, contribuições influentes de código aberto ou trabalho técnico significativo já lançado.
Benefícios
- 30 dias de férias anuais remuneradas.
- Acesso a opções de fitness e bem-estar pelo Wellhub.
- Apoio à saúde mental por meio do nilo.health.
- Plano de previdência empresarial com subsídio substancial.
- Subsídio para o passe de transporte nacional na Alemanha.
- Orçamento para equipamentos técnicos adicionais.
- Horário de trabalho flexível.
- Modelo de trabalho híbrido.
- Leasing de bicicletas JobRad®.