Aleph Alpha on tekoälyn tutkimus- ja sovellusyritys, joka kehittää laajamittaisia malleja kielelle, kuvadatalla työskentelyyn ja strategiseen päättelyyn. Heidelbergissä Saksassa sijaitseva yritys keskittyy muuntamaan edistynyttä tekoälytutkimusta käytännön toimintajärjestelmiksi ja tukemaan samalla Euroopan digitaalista suvereniteettia. Sen työ palvelee yritysten ja organisaatioiden käyttötapauksia B2B-teknologiasektorilla.
Vanhempi tekoälytutkija, perustamallien esikoulutus — Aleph Alpha, Heidelberg
Johda Aleph Alphan eurooppalaisten perustamallien arkkitehtuuria ja laajamittaista esikoulutusta sekä kehitä tuhansilla GPU:illa käytettäviä koulutusmenetelmiä. Rakenna ja kehitä PyTorch-koulutusreseptejä Heidelbergissä toimivassa hybriditiimissä.
Kuvaus
- Kehitä arkkitehtuureja ja koulutusmenetelmiä Aleph Alphan seuraavan sukupolven perustamalleille.
- Johda koulutusreseptien keskeisiä osia, kuten optimoijia, aikatauluja ja alustusta.
- Kehitä PyTorch-arkkitehtuuria niin, että konvergenssi, vakaus ja koulutuksen tehokkuus paranevat.
- Määritä hyperparametrien skaalautumislakeja ja menetelmiä koulutusajojen skaalaamiseen.
- Tee pieniä korvaavia kokeita ennustaaksesi käyttäytymistä tuhansilla GPU:illa ja vähentääksesi koulutukseen liittyviä riskejä.
- Selvitä konvergenssiongelmia, kuten häviöarvon äkillisiä piikkejä ja hajaantumista.
- Ratkaise hajautetun koulutuksen ongelmia, kuten tiedonsiirron pullonkauloja, kilpailutilanteita ja synkronointivirheitä.
- Tee yhteistyötä laskentatehon, datan, arvioinnin ja jälkikoulutuksen tiimien kanssa järjestelmien ja mallien yhteissuunnittelussa.
- Muuta matemaattinen analyysi ja kokeellinen näyttö perustelluiksi koulutuspäätöksiksi.
- Tuota tuotantovalmiita koodiratkaisuja, jotka parantavat mallien laatua, ajojen luotettavuutta ja tehokkuutta.
Vaatimukset
- Pythonin erinomainen hallinta ja vahva PyTorch-koulutustyönkulkujen tuntemus.
- Näyttöjä koneoppimisen tutkimuksesta ja ohjelmistokehityksestä esimerkiksi julkaistuina malleina, vaikuttavana avoimen lähdekoodin työnä tai tutkimusjulkaisuina.
- Vahva matemaattinen perusta ja kyky tarkastella muodollisesti optimointia, skaalautumiskäyttäytymistä ja koulutuksen dynamiikkaa.
- Syvällinen ymmärrys transformer-mallien koulutusdynamiikasta, optimoinnista ja laajoista hajautetuista koulutusajoista.
- Kyky suunnitella huolellisia kokeita ja hyödyntää niiden tuloksia luotettavien koulutuspäätösten tekemisessä.
- Käytännön kokemusta suurten mallien, esimerkiksi vähintään 7 miljardin parametrin mallien, esikoulutuksesta merkittävässä infrastruktuurissa, kuten vähintään 100 GPU:n klustereissa.
- Hyvät ohjelmistokehityskäytännöt, kuten ylläpidettävä ja hyvin testattu koodi sekä toistettavat kokeet.
- Kyky toteuttaa monimutkaisia arkkitehtuureja tehokkaasti ja luotettavasti sekä selvittää mallikoodin, koulutuksen toiminnan ja hajautettujen järjestelmien virheitä.
- Selkeä viestintä ja sujuva yhteistyö eri tiimien kanssa.
- Oikeus työskennellä Saksassa ja valmius säännölliseen lähiyhteistyöhön Heidelbergissä.
- Eduksi: kokemusta LLM- tai multimodaalimallien kouluttamisesta suurissa GPU-klustereissa hajautetuilla viitekehyksillä, kuten Megatron-LM:llä, DeepSpeedillä tai torchtitanilla.
- Eduksi: skaalautumislakien, hyperparametrien siirron tai suurten koulutusajojen käyttäytymisen ennustamisen tuntemus korvaavien ajojen avulla.
- Eduksi: kokemusta hajautettujen työkuormien profiloinnista ja koulutuksen poikkeamien selvittämisestä.
- Eduksi: perehtyneisyys harvoihin koulutusmenetelmiin, kuten Mixture-of-Experts-menetelmään.
- Eduksi: huipputason julkaisuja, vaikuttavia avoimen lähdekoodin kontribuutioita tai merkittävää tuotantoon toimitettua teknistä työtä.
Edut
- 30 päivää palkallista vuosilomaa.
- Pääsy Wellhubin kautta tarjottaviin liikunta- ja hyvinvointipalveluihin.
- Mielenterveyden tukea nilo.health-palvelun kautta.
- Merkittävästi tuettu yrityksen eläkejärjestely.
- Tuettu koko Saksan kattava joukkoliikennelippu.
- Budjetti lisäteknisten laitteiden hankintaan.
- Joustavat työajat.
- Hybridityöjärjestely.
- JobRad®-polkupyöräleasing.