Ang Aleph Alpha ay isang kumpanya ng pananaliksik at aplikasyon sa artificial intelligence na bumubuo ng malalaking modelo para sa wika, datos ng larawan, at estratehikong pangangatwiran. Nakabase sa Heidelberg, Germany, nakatuon ang kumpanya sa pagsasalin ng makabagong pananaliksik sa AI tungo sa mga operasyonal na sistema habang sinusuportahan ang digital na soberanya ng Europe. Nagsisilbi ang gawain nito sa mga gamit ng mga negosyo at organisasyon sa sektor ng teknolohiyang B2B.
Senior na Mananaliksik sa AI, Paunang Pagsasanay ng Foundation Model — Aleph Alpha, Heidelberg
Pangunahan ang pagbuo ng arkitektura at malawakang paunang pagsasanay para sa mga European foundation model ng Aleph Alpha, at hubugin ang mga paraan ng pagsasanay gamit ang libu-libong GPU. Bumuo at pagbutihin ang mga recipe ng pagsasanay sa PyTorch kasama ang hybrid na team na nakabase sa Heidelberg.
Paglalarawan
- Bumuo ng mga arkitektura at paraan ng pagsasanay para sa susunod na henerasyon ng mga foundation model ng Aleph Alpha.
- Pangunahan ang mahahalagang bahagi ng recipe ng pagsasanay, kabilang ang mga optimizer, iskedyul, at pagsisimula ng mga parameter.
- Gumawa ng mga pagpapahusay sa arkitektura ng PyTorch upang patatagin ang convergence at paghusayin ang katatagan at kahusayan ng pagsasanay.
- Magtakda ng mga batas sa pag-scale ng hyperparameter at mga paraan upang palawakin ang mga training run.
- Magsagawa ng maliliit na proxy experiment upang mataya ang kilos sa libu-libong GPU at mabawasan ang panganib sa pagsasanay.
- Tukuyin ang mga problema sa convergence, kabilang ang biglaang pagtaas ng loss at divergence.
- Ayusin ang mga pagkabigo sa distributed training gaya ng bottleneck sa komunikasyon, race condition, at mga error sa synchronization.
- Makipagtulungan sa mga team ng Compute Performance, Data, Evaluation, at Post-Training sa magkasamang pagdidisenyo ng system at modelo.
- Gamitin ang pagsusuring matematikal at ebidensiyang mula sa mga eksperimento upang makagawa ng matibay na pasya sa pagsasanay.
- Maghatid ng production-quality na code na nagpapahusay sa kalidad ng modelo, pagiging maaasahan ng mga run, at kahusayan.
Mga Kinakailangan
- Bihasa sa Python at may malalim na pamilyaridad sa mga workflow ng pagsasanay sa PyTorch.
- May napatunayang rekord sa pananaliksik sa machine learning at software engineering, na makikita sa mga nailunsad na modelo, maimpluwensiyang open-source na gawain, o nailathalang pananaliksik.
- Matibay ang pundasyong matematikal at kayang mangatwiran nang pormal tungkol sa optimization, pag-scale, at dinamika ng pagsasanay.
- Malalim ang kaalaman sa dinamika ng pagsasanay ng transformer, optimization, at malalaking distributed training run.
- Kayang magdisenyo ng mahigpit na mga eksperimento at gamitin ang mga resulta upang gumabay sa maaasahang mga pasya sa pagsasanay.
- May praktikal na karanasan sa paunang pagsasanay ng malalaking modelo, gaya ng mga modelong may 7B o higit pang parameter, gamit ang malaking imprastraktura gaya ng mga cluster na may 100 o higit pang GPU.
- Maayos na mga kasanayan sa software engineering, kabilang ang code na madaling panatilihin at lubusang nasubukan, pati mga eksperimentong maaaring ulitin.
- Kayang magpatupad ng mga kumplikadong arkitektura nang mahusay at maaasahan, at mag-debug ng code ng modelo, asal ng pagsasanay, at mga distributed system.
- Malinaw makipag-usap at mahusay makipagtulungan sa iba't ibang team.
- Kwalipikadong magtrabaho sa Germany at handang makipagtulungan nang personal sa Heidelberg nang regular.
- Mas gusto: karanasan sa pagsasanay ng mga LLM o multimodal na modelo sa malalaking GPU cluster gamit ang mga distributed framework gaya ng Megatron-LM, DeepSpeed, o torchtitan.
- Mas gusto: pamilyaridad sa mga batas sa pag-scale, paglilipat ng hyperparameter, o pagtataya sa malakihang pagsasanay mula sa mga proxy run.
- Mas gusto: karanasan sa pag-profile ng mga distributed job at pagtukoy ng mga anomalya sa pagsasanay.
- Mas gusto: karanasan sa mga sparse training method gaya ng Mixture-of-Experts.
- Mas gusto: mga publikasyong nangunguna sa larangan, maimpluwensiyang open-source na ambag, o makabuluhang teknikal na gawaing nailunsad.
Mga Benepisyo
- 30 araw na bayad na taunang bakasyon.
- Access sa mga serbisyo para sa fitness at wellness sa pamamagitan ng Wellhub.
- Suporta sa kalusugang pangkaisipan sa pamamagitan ng nilo.health.
- Malaking subsidiya sa plano ng pensiyon ng kumpanya.
- May subsidiya na nationwide transport ticket sa Germany.
- Badyet para sa karagdagang teknikal na kagamitan.
- Flexible na oras ng trabaho.
- Hybrid na kaayusan sa trabaho.
- Pagpapaupa ng bisikleta sa pamamagitan ng JobRad®.