Aleph Alpha är ett forsknings- och tillämpningsföretag inom artificiell intelligens som utvecklar storskaliga modeller för språk, bilddata och strategiskt tänkande. Företaget har sitt säte i Heidelberg i Tyskland och fokuserar på att omvandla avancerad AI-forskning till operativa system, samtidigt som Europas digitala suveränitet stärks. Verksamheten riktar sig till affärsrelaterade och organisatoriska användningsområden inom B2B-tekniksektorn.
Senior AI-forskare, förträning av grundmodeller — Aleph Alpha, Heidelberg
Led arkitektur- och storskaligt förträningsarbete för Aleph Alphas europeiska grundmodeller och forma träningsmetoder över tusentals GPU:er. Bygg och förfina träningsrecept i PyTorch tillsammans med det hybridbaserade teamet i Heidelberg.
Beskrivning
- Utveckla arkitekturer och träningsmetoder för Aleph Alphas nästa generation av grundmodeller.
- Led centrala delar av träningsrecepten, däribland optimerare, scheman och initialisering.
- Skapa förbättringar av PyTorch-arkitekturen som stärker konvergens, stabilitet och träningseffektivitet.
- Ta fram skalningslagar för hyperparametrar och metoder för att skala upp träningskörningar.
- Genomför mindre proxyexperiment för att förutsäga beteendet på tusentals GPU:er och minska träningsriskerna.
- Diagnostisera konvergensproblem, däribland plötsliga förlustökningar och divergens.
- Felsök problem i distribuerad träning, såsom kommunikationsflaskhalsar, race conditions och synkroniseringsfel.
- Samarbeta med teamen för beräkningsprestanda, data, utvärdering och efterträning kring gemensam utformning av system och modeller.
- Omsätt matematisk analys och experimentella belägg i välgrundade träningsbeslut.
- Leverera kod av produktionskvalitet som förbättrar modellkvalitet, körningarnas tillförlitlighet och effektivitet.
Krav
- Goda kunskaper i Python och gedigen vana av träningsflöden i PyTorch.
- Dokumenterad erfarenhet av maskininlärningsforskning och programvaruutveckling, genom lanserade modeller, inflytelserikt arbete med öppen källkod eller publicerad forskning.
- Stark matematisk grund och förmåga att resonera formellt om optimering, skalningsbeteende och träningsdynamik.
- Djupgående kunskap om träning av transformermodeller, optimering och storskaliga distribuerade träningskörningar.
- Förmåga att utforma rigorösa experiment och använda resultaten för att fatta välgrundade träningsbeslut.
- Praktisk erfarenhet av att förträna stora modeller, exempelvis modeller med minst 7 miljarder parametrar, på omfattande infrastruktur, exempelvis kluster med minst 100 GPU:er.
- Goda metoder för programvaruutveckling, inklusive underhållbar och vältestad kod samt reproducerbara experiment.
- Förmåga att implementera komplexa arkitekturer effektivt och tillförlitligt samt felsöka modellkod, träningsbeteende och distribuerade system.
- Tydlig kommunikation och god förmåga att samarbeta mellan team.
- Behörighet att arbeta i Tyskland och möjlighet att regelbundet samarbeta på plats i Heidelberg.
- Meriterande: erfarenhet av att träna stora språkmodeller eller multimodala modeller på stora GPU-kluster med distribuerade ramverk som Megatron-LM, DeepSpeed eller torchtitan.
- Meriterande: kunskap om skalningslagar, överföring av hyperparametrar eller prognoser av storskaligt träningsbeteende från proxykörningar.
- Meriterande: erfarenhet av att profilera distribuerade jobb och diagnostisera avvikelser i träningen.
- Meriterande: erfarenhet av glesa träningsmetoder, exempelvis Mixture-of-Experts.
- Meriterande: publikationer i ledande tidskrifter eller konferenser, inflytelserika bidrag till öppen källkod eller betydande tekniskt arbete i lanserade produkter.
Förmåner
- 30 dagars betald semester per år.
- Tillgång till tränings- och friskvårdsutbud genom Wellhub.
- Stöd för psykisk hälsa via nilo.health.
- Företagspension med betydande subvention.
- Subventionerat rikstäckande transportkort i Tyskland.
- Budget för ytterligare teknisk utrustning.
- Flexibla arbetstider.
- Hybridarbete.
- Cykelförmån genom JobRad®.