Aleph Alpha er et forsknings- og anvendelsesselskap innen kunstig intelligens som utvikler storskalamodeller for språk, bildedata og strategisk resonnering. Selskapet holder til i Heidelberg i Tyskland og fokuserer på å omsette avansert AI-forskning til operative systemer, samtidig som Europas digitale suverenitet støttes. Arbeidet dekker forretningsmessige og organisatoriske bruksområder i B2B-teknologisektoren.
Senior AI-forsker, forhåndstrening av grunnmodeller — Aleph Alpha, Heidelberg
Led arkitekturarbeid og forhåndstrening i stor skala for Aleph Alphas europeiske grunnmodeller, og utform treningsmetoder på tvers av tusenvis av GPU-er. Bygg og forbedre PyTorch-oppskrifter for trening sammen med det hybride teamet i Heidelberg.
Beskrivelse
- Utvikle arkitekturer og treningsmetoder for Aleph Alphas neste generasjon grunnmodeller.
- Led sentrale deler av treningsoppskriftene, blant annet optimaliserere, tidsplaner og initialisering.
- Lag forbedringer i PyTorch-arkitekturen som styrker konvergens, stabilitet og treningseffektivitet.
- Etabler skaleringslover for hyperparametere og metoder for å skalere treningskjøringer.
- Kjør mindre proxyeksperimenter for å forutsi oppførselen på tvers av tusenvis av GPU-er og redusere risikoen ved trening.
- Diagnostiser konvergensproblemer, inkludert plutselige økninger i tapsverdien og divergens.
- Feilsøk feil i distribuert trening, som kommunikasjonsflaskehalser, race conditions og synkroniseringsfeil.
- Samarbeid med teamene for beregningsytelse, data, evaluering og ettertrening om samutforming av systemer og modeller.
- Omsett matematisk analyse og eksperimentelle funn til velbegrunnede treningsbeslutninger.
- Lever kode av produksjonskvalitet som forbedrer modellkvalitet, pålitelighet i kjøringer og effektivitet.
Krav
- Gode ferdigheter i Python og solid kjennskap til treningsarbeidsflyter i PyTorch.
- Dokumenterte resultater innen maskinlæringsforskning og programvareutvikling, vist gjennom lanserte modeller, innflytelsesrikt arbeid med åpen kildekode eller publisert forskning.
- Sterkt matematisk fundament og evne til å resonnere formelt om optimalisering, skaleringsatferd og treningsdynamikk.
- Inngående kunnskap om treningsdynamikken til transformermodeller, optimalisering og store distribuerte treningskjøringer.
- Evne til å utforme grundige eksperimenter og bruke funnene til å ta robuste treningsbeslutninger.
- Praktisk erfaring med forhåndstrening av store modeller, for eksempel modeller med minst 7 milliarder parametere, på omfattende infrastruktur, for eksempel klynger med minst 100 GPU-er.
- Gode metoder for programvareutvikling, inkludert vedlikeholdbar og godt testet kode samt reproduserbare eksperimenter.
- Evne til å implementere komplekse arkitekturer effektivt og pålitelig, og feilsøke modellkode, treningsatferd og distribuerte systemer.
- Tydelig kommunikasjon og effektivt samarbeid på tvers av team.
- Berettiget til å arbeide i Tyskland og tilgjengelig for regelmessig samarbeid på stedet i Heidelberg.
- Ønskelig: erfaring med trening av store språkmodeller eller multimodale modeller på store GPU-klynger med distribuerte rammeverk som Megatron-LM, DeepSpeed eller torchtitan.
- Ønskelig: kjennskap til skaleringslover, overføring av hyperparametere eller prognoser for treningsatferd i stor skala basert på proxykjøringer.
- Ønskelig: erfaring med profilering av distribuerte jobber og diagnostisering av avvik i treningen.
- Ønskelig: kjennskap til sparsomme treningsmetoder som Mixture-of-Experts.
- Ønskelig: publikasjoner på toppnivå, innflytelsesrike bidrag til åpen kildekode eller betydelig teknisk arbeid i lanserte produkter.
Fordeler
- 30 dagers betalt ferie per år.
- Tilgang til trenings- og velværetilbud gjennom Wellhub.
- Støtte for mental helse via nilo.health.
- Betydelig subsidiert tjenestepensjon.
- Subsidiert landsdekkende transportbillett i Tyskland.
- Budsjett til ekstra teknisk utstyr.
- Fleksibel arbeidstid.
- Hybrid arbeidsordning.
- Leie av sykkel gjennom JobRad®.