Aleph Alpha er en forsknings- og anvendelsesvirksomhed inden for kunstig intelligens, som udvikler storskalamodeller til sprog, billeddata og strategisk tænkning. Virksomheden har base i Heidelberg i Tyskland og fokuserer på at omsætte avanceret AI-forskning til operationelle systemer, samtidig med at Europas digitale suverænitet understøttes. Arbejdet dækker forretningsmæssige og organisatoriske anvendelsesområder i B2B-teknologisektoren.
Senior AI-forsker, prætræning af grundmodeller — Aleph Alpha, Heidelberg
Led arkitekturarbejde og prætræning i stor skala for Aleph Alphas europæiske grundmodeller, og sæt retningen for træningsmetoder på tværs af tusindvis af GPU'er. Byg og forfin PyTorch-træningsopskrifter sammen med det hybride team i Heidelberg.
Beskrivelse
- Udvikl arkitekturer og træningsmetoder til Aleph Alphas næste generation af grundmodeller.
- Led centrale dele af træningsopskrifterne, herunder optimeringsalgoritmer, tidsplaner og initialisering.
- Skab forbedringer af PyTorch-arkitekturen, der styrker konvergens, stabilitet og træningseffektivitet.
- Etabler skaleringslove for hyperparametre og metoder til at skalere træningskørsler.
- Kør mindre proxyeksperimenter for at forudsige adfærd på tværs af tusindvis af GPU'er og mindske træningsrisikoen.
- Diagnosticér konvergensproblemer, herunder pludselige stigninger i tabsfunktionen og divergens.
- Fejlsøg fejl i distribueret træning, såsom kommunikationsflaskehalse, race conditions og synkroniseringsfejl.
- Samarbejd med teamene for beregningsydelse, data, evaluering og eftertræning om fælles design af systemer og modeller.
- Omsæt matematisk analyse og eksperimentelt belæg til velbegrundede træningsbeslutninger.
- Lever kode i produktionskvalitet, der forbedrer modelkvalitet, kørslernes pålidelighed og effektivitet.
Krav
- Gode kundskaber i Python og solidt kendskab til træningsworkflows i PyTorch.
- Dokumenterede resultater inden for maskinlæringsforskning og softwareudvikling, vist gennem lancerede modeller, indflydelsesrigt open source-arbejde eller publiceret forskning.
- Stærkt matematisk fundament og evne til at ræsonnere formelt om optimering, skaleringsadfærd og træningsdynamik.
- Indgående kendskab til træningsdynamik for transformere, optimering og store distribuerede træningskørsler.
- Evne til at designe grundige eksperimenter og bruge resultaterne til at træffe robuste træningsbeslutninger.
- Praktisk erfaring med prætræning af store modeller, f.eks. modeller med mindst 7 mia. parametre, på omfattende infrastruktur, f.eks. klynger med mindst 100 GPU'er.
- Gode softwareudviklingsmetoder, herunder vedligeholdelsesvenlig, velafprøvet kode og reproducerbare eksperimenter.
- Evne til at implementere komplekse arkitekturer effektivt og pålideligt samt fejlfinde modelkode, træningsadfærd og distribuerede systemer.
- Tydelig kommunikation og effektivt samarbejde på tværs af teams.
- Ret til at arbejde i Tyskland og mulighed for regelmæssigt samarbejde på stedet i Heidelberg.
- En fordel: erfaring med at træne store sprogmodeller eller multimodale modeller på store GPU-klynger med distribuerede frameworks som Megatron-LM, DeepSpeed eller torchtitan.
- En fordel: kendskab til skaleringslove, overførsel af hyperparametre eller forudsigelse af træningsadfærd i stor skala ud fra proxykørsler.
- En fordel: erfaring med at profilere distribuerede jobs og diagnosticere uregelmæssigheder i træningen.
- En fordel: kendskab til sparsomme træningsmetoder såsom Mixture-of-Experts.
- En fordel: publikationer på højeste niveau, indflydelsesrige open source-bidrag eller betydeligt teknisk arbejde i lancerede produkter.
Fordele
- 30 dages betalt årlig ferie.
- Adgang til fitness- og wellnessordninger gennem Wellhub.
- Støtte til mental sundhed via nilo.health.
- Virksomhedspension med et betydeligt tilskud.
- Tilskud til landsdækkende transportbillet i Tyskland.
- Budget til ekstra teknisk udstyr.
- Fleksible arbejdstider.
- Hybrid arbejdsordning.
- Cykelleasing gennem JobRad®.