Aleph Alpha je spoločnosť zaoberajúca sa výskumom a aplikáciou umelej inteligencie, ktorá vyvíja veľké modely pre jazyk, obrazové údaje a strategické uvažovanie. Spoločnosť sídli v Heidelbergu v Nemecku a zameriava sa na premenu pokročilého výskumu umelej inteligencie na praktické systémy, pričom podporuje digitálnu suverenitu Európy. Jej práca slúži podnikateľským a organizačným prípadom využitia v sektore B2B technológií.
Senior výskumník AI, predtrénovanie základných modelov — Aleph Alpha, Heidelberg
Veďte návrh architektúr a predtrénovanie vo veľkom meradle pre európske základné modely Aleph Alpha a formujte tréningové metódy naprieč tisíckami GPU. Vytvárajte a zdokonaľujte tréningové recepty v PyTorch s hybridným tímom v Heidelbergu.
Popis
- Navrhujte architektúry a tréningové metódy pre ďalšiu generáciu základných modelov Aleph Alpha.
- Veďte vývoj kľúčových častí tréningových receptov vrátane optimalizátorov, plánov a inicializácie.
- Vytvárajte vylepšenia architektúry v PyTorch, ktoré zlepšujú konvergenciu, stabilitu a efektívnosť tréningu.
- Stanovujte zákonitosti škálovania hyperparametrov a metódy rozširovania tréningových behov.
- Spúšťajte menšie proxy experimenty na predpovedanie správania na tisíckach GPU a znižovanie tréningových rizík.
- Diagnostikujte problémy s konvergenciou vrátane náhlych nárastov straty a divergencie.
- Riešte zlyhania distribuovaného tréningu, ako sú komunikačné úzke miesta, súbehové podmienky a chyby synchronizácie.
- Spolupracujte s tímami Compute Performance, Data, Evaluation a Post-Training na spoločnom návrhu systémov a modelov.
- Pretavujte matematické analýzy a experimentálne dôkazy do kvalitných tréningových rozhodnutí.
- Dodávajte kód v produkčnej kvalite, ktorý zlepšuje kvalitu modelov, spoľahlivosť behov a efektívnosť.
Požiadavky
- Ovládate Python a dobre sa vyznáte v tréningových postupoch PyTorch.
- Máte preukázateľné výsledky vo výskume strojového učenia a softvérovom inžinierstve, doložené nasadenými modelmi, vplyvnou prácou s otvoreným zdrojovým kódom alebo publikovaným výskumom.
- Máte pevné matematické základy a dokážete formálne uvažovať o optimalizácii, správaní pri škálovaní a dynamike tréningu.
- Máte hlboké znalosti dynamiky tréningu transformátorov, optimalizácie a rozsiahlych distribuovaných tréningových behov.
- Dokážete navrhovať dôsledné experimenty a využívať ich výsledky pri prijímaní spoľahlivých tréningových rozhodnutí.
- Máte praktické skúsenosti s predtrénovaním veľkých modelov, napríklad so 7B alebo viac parametrami, na rozsiahlej infraštruktúre, napríklad v klastroch so 100 alebo viacerými GPU.
- Dodržiavate kvalitné postupy softvérového inžinierstva vrátane udržiavateľného, dôkladne testovaného kódu a reprodukovateľných experimentov.
- Dokážete efektívne a spoľahlivo implementovať zložité architektúry a ladiť kód modelov, priebeh tréningu aj distribuované systémy.
- Jasne komunikujete a efektívne spolupracujete naprieč tímami.
- Máte oprávnenie pracovať v Nemecku a ste k dispozícii na pravidelnú spoluprácu osobne v Heidelbergu.
- Výhodou sú skúsenosti s tréningom LLM alebo multimodálnych modelov vo veľkých GPU klastroch pomocou distribuovaných frameworkov, ako sú Megatron-LM, DeepSpeed alebo torchtitan.
- Výhodou je znalosť zákonitostí škálovania, prenosu hyperparametrov alebo predpovedania správania tréningu vo veľkom meradle na základe proxy behov.
- Výhodou sú skúsenosti s profilovaním distribuovaných úloh a diagnostikou anomálií tréningu.
- Výhodou sú skúsenosti s riedkymi tréningovými metódami, napríklad Mixture-of-Experts.
- Výhodou sú publikácie v popredných odborných časopisoch či na konferenciách, vplyvné príspevky do projektov s otvoreným zdrojovým kódom alebo významná technická práca nasadená do praxe.
Benefity
- 30 dní platenej dovolenky ročne.
- Prístup k športovým a wellness službám prostredníctvom Wellhub.
- Podpora duševného zdravia cez nilo.health.
- Výrazne dotovaný firemný dôchodkový plán.
- Dotovaný celonemecký cestovný lístok.
- Rozpočet na ďalšie technické vybavenie.
- Flexibilný pracovný čas.
- Hybridný spôsob práce.
- Lízing bicykla cez JobRad®.