Aleph Alpha je společnost zaměřená na výzkum a praktické využití umělé inteligence. Vyvíjí rozsáhlé modely pro práci s jazykem, obrazovými daty a strategickým uvažováním. Sídlí v Heidelbergu v Německu. Společnost se zaměřuje na převádění pokročilého výzkumu AI do praktických systémů a na podporu digitální suverenity Evropy. Její řešení slouží obchodním a organizačním případům použití v sektoru B2B technologií.
Seniorní výzkumník AI, předtrénování základních modelů — Aleph Alpha, Heidelberg
Veďte práci na architektuře a rozsáhlém předtrénování evropských základních modelů Aleph Alpha a utvářejte metody trénování napříč tisíci GPU. Vytvářejte a vylepšujte trénovací postupy v PyTorch s hybridním týmem v Heidelbergu.
Popis
- Vyvíjejte architektury a metody trénování pro další generaci základních modelů Aleph Alpha.
- Veďte práci na klíčových součástech trénovacích postupů, včetně optimalizátorů, rozvrhů a inicializace.
- Vytvářejte vylepšení architektury v PyTorch, která zvyšují konvergenci, stabilitu a efektivitu trénování.
- Stanovujte zákony škálování hyperparametrů a metody škálování trénovacích běhů.
- Provádějte menší proxy experimenty, které předpovídají chování na tisících GPU a snižují rizika trénování.
- Diagnostikujte problémy s konvergencí, včetně výkyvů ztrátové funkce a divergence.
- Řešte selhání distribuovaného trénování, například úzká hrdla komunikace, závody a chyby synchronizace.
- Spolupracujte s týmy pro výpočetní výkon, data, evaluaci a post-trénování na společném návrhu systémů a modelů.
- Převádějte matematickou analýzu a experimentální důkazy na spolehlivá rozhodnutí o trénování.
- Dodávejte kód v produkční kvalitě, který zlepšuje kvalitu modelů, spolehlivost běhů a efektivitu.
Požadavky
- Výborná znalost Pythonu a důkladná orientace v postupech trénování v PyTorch.
- Prokazatelné výsledky ve výzkumu strojového učení a softwarovém inženýrství, doložené nasazenými modely, významnou prací na open source nebo publikovaným výzkumem.
- Silné matematické základy a schopnost formálně uvažovat o optimalizaci, škálování a dynamice trénování.
- Podrobná znalost dynamiky trénování transformerů, optimalizace a rozsáhlých distribuovaných trénovacích běhů.
- Schopnost navrhovat důkladné experimenty a využívat jejich výsledky k informovanému rozhodování o trénování.
- Praktická zkušenost s předtrénováním velkých modelů, například modelů se 7 miliardami či více parametrů, na rozsáhlé infrastruktuře, například na clusterech se 100 či více GPU.
- Dobré postupy softwarového inženýrství, včetně udržovatelného, důkladně testovaného kódu a reprodukovatelných experimentů.
- Schopnost efektivně a spolehlivě implementovat složité architektury a ladit kód modelů, průběh trénování i distribuované systémy.
- Jasná komunikace a efektivní spolupráce napříč týmy.
- Oprávnění pracovat v Německu a možnost pravidelné spolupráce na pracovišti v Heidelbergu.
- Výhodou: zkušenosti s trénováním LLM nebo multimodálních modelů na velkých GPU clusterech pomocí distribuovaných frameworků, jako jsou Megatron-LM, DeepSpeed nebo torchtitan.
- Výhodou: znalost zákonů škálování, přenosu hyperparametrů nebo předpovídání chování rozsáhlého trénování z proxy běhů.
- Výhodou: zkušenost s profilováním distribuovaných úloh a diagnostikou odchylek při trénování.
- Výhodou: znalost řídkých metod trénování, jako je Mixture-of-Experts.
- Výhodou: publikace v předních časopisech či na konferencích, významný přínos projektům open source nebo zásadní dodaná technická řešení.
Benefity
- 30 dní placené dovolené ročně.
- Přístup k fitness a wellness službám prostřednictvím Wellhub.
- Podpora duševního zdraví prostřednictvím nilo.health.
- Výrazně dotovaný firemní penzijní plán.
- Dotovaný celostátní jízdní doklad na veřejnou dopravu v Německu.
- Rozpočet na další technické vybavení.
- Flexibilní pracovní doba.
- Hybridní režim práce.
- Leasing jízdních kol JobRad®.