Aleph Alpha je tvrtka za istraživanje i primjenu umjetne inteligencije koja razvija velike modele za jezik, slikovne podatke i strateško zaključivanje. Sa sjedištem u Heidelbergu u Njemačkoj, tvrtka se usredotočuje na pretvaranje naprednih istraživanja umjetne inteligencije u operativne sustave, uz istodobnu podršku europskoj digitalnoj suverenosti. Njezin rad služi poslovnim i organizacijskim slučajevima upotrebe u sektoru B2B tehnologije.
Viši istraživač umjetne inteligencije, predtreniranje temeljnih modela — Aleph Alpha, Heidelberg
Vodite razvoj arhitekture i predtreniranje u velikom opsegu za europske temeljne modele Aleph Alpha te oblikujte metode treniranja na tisućama GPU-ova. Razvijajte i usavršavajte recepte za treniranje u PyTorchu s hibridnim timom u Heidelbergu.
Opis
- Razvijajte arhitekture i metode treniranja za sljedeću generaciju temeljnih modela Aleph Alpha.
- Vodite ključne sastavnice recepta za treniranje, uključujući optimizatore, rasporede i inicijalizaciju.
- Izrađujte poboljšanja arhitekture u PyTorchu koja unapređuju konvergenciju, stabilnost i učinkovitost treniranja.
- Utvrdite zakonitosti skaliranja hiperparametara i metode za povećanje opsega treniranja.
- Provodeći manje proxy eksperimente predviđajte ponašanje na tisućama GPU-ova i smanjite rizike treniranja.
- Dijagnosticirajte probleme s konvergencijom, uključujući nagle skokove gubitka i divergenciju.
- Rješavajte probleme distribuiranog treniranja, poput uskih grla u komunikaciji, utrka i pogrešaka sinkronizacije.
- Surađujte s timovima Compute Performance, Data, Evaluation i Post-Training na zajedničkom dizajnu sustava i modela.
- Pretvorite matematičku analizu i eksperimentalne dokaze u utemeljene odluke o treniranju.
- Isporučujte kod produkcijske kvalitete koji poboljšava kvalitetu modela, pouzdanost izvođenja i učinkovitost.
Zahtjevi
- Odlično poznajete Python i dobro se snalazite u tijekovima rada za treniranje u PyTorchu.
- Imate dokazano iskustvo u istraživanju strojnog učenja i softverskom inženjerstvu, potvrđeno isporučenim modelima, utjecajnim radom otvorenog koda ili objavljenim istraživanjem.
- Imate snažne matematičke temelje i sposobnost formalnog promišljanja o optimizaciji, ponašanju pri skaliranju i dinamici treniranja.
- Detaljno poznajete dinamiku treniranja transformera, optimizaciju i velika distribuirana treniranja.
- Znate osmisliti rigorozne eksperimente i koristiti njihove rezultate za donošenje pouzdanih odluka o treniranju.
- Imate praktično iskustvo s predtreniranjem velikih modela, primjerice modela sa 7B ili više parametara, na znatnoj infrastrukturi, poput klastera sa 100 ili više GPU-ova.
- Primjenjujete dobre prakse softverskog inženjerstva, uključujući održiv kod s opsežnim testovima i ponovljive eksperimente.
- Znate učinkovito i pouzdano implementirati složene arhitekture te otklanjati pogreške u kodu modela, ponašanju treniranja i distribuiranim sustavima.
- Jasno komunicirate i učinkovito surađujete s drugim timovima.
- Imate pravo na rad u Njemačkoj i možete redovito surađivati uživo u Heidelbergu.
- Prednost je iskustvo s treniranjem LLM-ova ili multimodalnih modela na velikim GPU klasterima uz distribuirane okvire kao što su Megatron-LM, DeepSpeed ili torchtitan.
- Prednost je poznavanje zakonitosti skaliranja, prijenosa hiperparametara ili predviđanja ponašanja treniranja u velikom opsegu na temelju proxy izvođenja.
- Prednost je iskustvo s profiliranjem distribuiranih poslova i dijagnosticiranjem anomalija u treniranju.
- Prednost je poznavanje rijetkih metoda treniranja kao što je Mixture-of-Experts.
- Prednost su objave u vodećim časopisima ili na konferencijama, utjecajni doprinosi otvorenom kodu ili značajan tehnički rad pušten u produkciju.
Pogodnosti
- 30 dana plaćenog godišnjeg odmora.
- Pristup sadržajima za fitness i wellness putem Wellhuba.
- Podrška za mentalno zdravlje putem nilo.healtha.
- Znatno subvencioniran mirovinski plan tvrtke.
- Subvencionirana karta za prijevoz koja vrijedi diljem Njemačke.
- Proračun za dodatnu tehničku opremu.
- Fleksibilno radno vrijeme.
- Hibridni način rada.
- Leasing bicikla JobRad®.