Az Aleph Alpha mesterségesintelligencia-kutatással és -alkalmazásokkal foglalkozó vállalat, amely nyelvi, képi adatokhoz és stratégiai következtetéshez használható nagyméretű modelleket fejleszt. A németországi Heidelbergben működő vállalat arra összpontosít, hogy a fejlett mesterségesintelligencia-kutatásokat működő rendszerekké alakítsa, miközben támogatja Európa digitális szuverenitását. Munkája a B2B technológiai szektorban működő vállalkozások és szervezetek felhasználási eseteit szolgálja.
Vezető mesterségesintelligencia-kutató, alapmodellek előtanítása — Aleph Alpha, Heidelberg
Vezesd az Aleph Alpha európai alapmodelljeinek architektúra-tervezését és nagyléptékű előtanítását, alakítva a több ezer GPU-n futó tanítási módszereket. Fejlessz és finomíts PyTorch-tanítási recepteket a heidelbergi hibrid csapattal.
Leírás
- Dolgozz ki architektúrákat és tanítási módszereket az Aleph Alpha következő generációs alapmodelljeihez.
- Vezesd a tanítási receptek alapvető elemeit, többek között az optimalizálókat, az ütemezéseket és az inicializálást.
- Készíts PyTorch-architektúra-fejlesztéseket, amelyek javítják a konvergenciát, a stabilitást és a tanítás hatékonyságát.
- Határozd meg a hiperparaméterek skálázási törvényszerűségeit és a tanítási futások skálázásának módszereit.
- Futtass kisebb, előrejelző kísérleteket, hogy felmérd a több ezer GPU-n várható viselkedést, és csökkentsd a tanítás kockázatait.
- Tárd fel a konvergenciaproblémákat, beleértve a veszteségfüggvény kiugró értékeit és a divergenciát.
- Hárítsd el az elosztott tanítás hibáit, például a kommunikációs szűk keresztmetszeteket, a versenyhelyzeteket és a szinkronizációs hibákat.
- Dolgozz együtt a Compute Performance, Data, Evaluation és Post-Training csapatokkal a rendszerek és modellek közös tervezésén.
- Alakítsd a matematikai elemzéseket és a kísérleti bizonyítékokat megalapozott tanítási döntésekké.
- Szállíts éles környezetre kész kódot, amely javítja a modellek minőségét, a futások megbízhatóságát és a hatékonyságot.
Követelmények
- Magabiztos Python-ismeret és a PyTorch-tanítási munkafolyamatok alapos ismerete.
- Bizonyítható eredmények a gépi tanulási kutatás és a szoftverfejlesztés területén, például bevezetett modellek, jelentős nyílt forráskódú munka vagy publikált kutatás révén.
- Erős matematikai alapok és formális gondolkodási képesség az optimalizálásról, a skálázási viselkedésről és a tanítási dinamikáról.
- A transzformermodellek tanítási dinamikájának, optimalizálásának és a nagyléptékű, elosztott tanítási futásoknak alapos ismerete.
- Szigorú kísérletek megtervezésének képessége, és az eredmények felhasználása megbízható tanítási döntésekhez.
- Gyakorlati tapasztalat nagy modellek, például legalább 7 milliárd paraméteres modellek előtanításában jelentős infrastruktúrán, például legalább 100 GPU-s klasztereken.
- Megbízható szoftverfejlesztési gyakorlat, beleértve a karbantartható, jól tesztelt kódot és a reprodukálható kísérleteket.
- Összetett architektúrák hatékony és megbízható megvalósításának, valamint a modellkód, a tanítási viselkedés és az elosztott rendszerek hibakeresésének képessége.
- Világos kommunikáció és hatékony együttműködés a csapatok között.
- Németországi munkavállalási jogosultság és rendszeres heidelbergi, személyes együttműködés vállalása.
- Előny: LLM-ek vagy multimodális modellek tanításában szerzett tapasztalat nagy GPU-klasztereken, például Megatron-LM, DeepSpeed vagy torchtitan elosztott keretrendszerekkel.
- Előny: a skálázási törvényszerűségek, a hiperparaméterek átvitele vagy a nagyléptékű tanítás proxyfutásokból történő előrejelzése terén szerzett ismeret.
- Előny: elosztott feladatok profilozásában és tanítási rendellenességek diagnosztizálásában szerzett tapasztalat.
- Előny: ritka tanítási módszerek, például a Mixture-of-Experts ismerete.
- Előny: rangos publikációk, jelentős nyílt forráskódú hozzájárulások vagy számottevő, bevezetett műszaki eredmények.
Juttatások
- 30 nap fizetett éves szabadság.
- Hozzáférés a Wellhub fitnesz- és wellnesslehetőségeihez.
- Mentális egészség támogatása a nilo.health szolgáltatásán keresztül.
- Jelentős mértékben támogatott vállalati nyugdíjprogram.
- Támogatott, Németország egész területén érvényes közlekedési bérlet.
- Keret további műszaki eszközök beszerzésére.
- Rugalmas munkaidő.
- Hibrid munkavégzés.
- JobRad® kerékpárlízing.