Aleph Alpha, dil, görsel veriler ve stratejik akıl yürütme alanlarına yönelik büyük ölçekli modeller geliştiren bir yapay zekâ araştırma ve uygulama şirketidir. Almanya’nın Heidelberg kentinde bulunan şirket, Avrupa’nın dijital egemenliğini desteklerken ileri yapay zekâ araştırmalarını operasyonel sistemlere dönüştürmeye odaklanır. Çalışmaları, B2B teknoloji sektöründeki işletmelere ve kuruluşlara yönelik kullanım alanlarına hizmet eder.
Kiemelt mesterségesintelligencia-kutató, alapmodell-előtanítás — Aleph Alpha, Heidelberg
Vezesd az Aleph Alpha európai alapmodelljeinek architektúra-tervezését és nagyléptékű előtanítását, alakítva a több ezer GPU-n futó tanítási módszereket. Fejlessz és finomíts PyTorch-tanítási recepteket a heidelbergi hibrid csapattal.
Açıklama
- Dolgozz ki architektúrákat és tanítási módszereket az Aleph Alpha következő generációs alapmodelljeihez.
- Vezesd a tanítási receptek alapvető elemeit, többek között az optimalizálókat, az ütemezéseket és az inicializálást.
- Készíts PyTorch-architektúra-fejlesztéseket, amelyek javítják a konvergenciát, a stabilitást és a tanítás hatékonyságát.
- Határozd meg a hiperparaméterek skálázási törvényszerűségeit és a tanítási futások skálázásának módszereit.
- Futtass kisebb, előrejelző kísérleteket, hogy felmérd a több ezer GPU-n várható viselkedést, és csökkentsd a tanítás kockázatait.
- Tárd fel a konvergenciaproblémákat, beleértve a veszteségfüggvény kiugró értékeit és a divergenciát.
- Hárítsd el az elosztott tanítás hibáit, például a kommunikációs szűk keresztmetszeteket, a versenyhelyzeteket és a szinkronizációs hibákat.
- Dolgozz együtt a Compute Performance, Data, Evaluation és Post-Training csapatokkal a rendszerek és modellek közös tervezésén.
- Alakítsd a matematikai elemzéseket és a kísérleti bizonyítékokat megalapozott tanítási döntésekké.
- Szállíts éles környezetre kész kódot, amely javítja a modellek minőségét, a futások megbízhatóságát és a hatékonyságot.
Gereksinimler
- Magabiztos Python-ismeret és a PyTorch-tanítási munkafolyamatok alapos ismerete.
- Bizonyítható eredmények a gépi tanulási kutatás és a szoftverfejlesztés területén, például bevezetett modellek, jelentős nyílt forráskódú munka vagy publikált kutatás révén.
- Erős matematikai alapok és formális gondolkodási képesség az optimalizálásról, a skálázási viselkedésről és a tanítási dinamikáról.
- A transzformermodellek tanítási dinamikájának, optimalizálásának és a nagyléptékű, elosztott tanítási futásoknak alapos ismerete.
- Szigorú kísérletek megtervezésének képessége, és az eredmények felhasználása megbízható tanítási döntésekhez.
- Gyakorlati tapasztalat nagy modellek, például legalább 7 milliárd paraméteres modellek előtanításában jelentős infrastruktúrán, például legalább 100 GPU-s klasztereken.
- Megbízható szoftverfejlesztési gyakorlat, beleértve a karbantartható, jól tesztelt kódot és a reprodukálható kísérleteket.
- Összetett architektúrák hatékony és megbízható megvalósításának, valamint a modellkód, a tanítási viselkedés és az elosztott rendszerek hibakeresésének képessége.
- Világos kommunikáció és hatékony együttműködés a csapatok között.
- Németországi munkavállalási jogosultság és rendszeres heidelbergi, személyes együttműködés vállalása.
- Előny: LLM-ek vagy multimodális modellek tanításában szerzett tapasztalat nagy GPU-klasztereken, például Megatron-LM, DeepSpeed vagy torchtitan elosztott keretrendszerekkel.
- Előny: a skálázási törvényszerűségek, a hiperparaméterek átvitele vagy a nagyléptékű tanítás proxyfutásokból történő előrejelzése terén szerzett ismeret.
- Előny: elosztott feladatok profilozásában és tanítási rendellenességek diagnosztizálásában szerzett tapasztalat.
- Előny: ritka tanítási módszerek, például a Mixture-of-Experts ismerete.
- Előny: rangos publikációk, jelentős nyílt forráskódú hozzájárulások vagy számottevő, bevezetett műszaki eredmények.
Yan Haklar
- 30 nap fizetett éves szabadság.
- Hozzáférés a Wellhub fitnesz- és wellnesslehetőségeihez.
- Mentális egészség támogatása a nilo.health szolgáltatásán keresztül.
- Jelentős mértékben támogatott vállalati nyugdíjprogram.
- Támogatott, Németország egész területén érvényes közlekedési bérlet.
- Keret további műszaki eszközök beszerzésére.
- Rugalmas munkaidő.
- Hibrid munkavégzés.
- JobRad® kerékpárlízing.