Baseten zagotavlja infrastrukturo za izvajanje modelov podjetjem, ki uvajajo aplikacije strojnega učenja in umetne inteligence. Njegova platforma je zasnovana za hitro in razširljivo streženje modelov ter združuje izvajanje z visoko prepustnostjo, hitro uvajanje, samodejno prilagajanje obsega, varno streženje modelov za podjetja in podporo pakiranju odprtokodnih modelov. Baseten inženirskim ekipam ter ekipam za strojno učenje pomaga upravljati operativne zahteve infrastrukture modelov, da se lahko osredotočijo na razvoj modelov, prilagojenih posameznim področjem. Podjetje deluje na področjih umetne inteligence, SaaS in poslovne tehnologije ter ima 11–50 zaposlenih.
Programski inženir za zmogljivost sklepanja pri podjetju Baseten (hibridno delo)
Baseten zaposluje inženirja za zmogljivost sklepanja, ki bo optimiziral izvajalna okolja LLM, jedra GPU in sisteme za streženje modelov. Vloga je osredotočena na izboljšanje hitrosti sklepanja v produkciji, izkoriščenosti strojne opreme in stroškovne učinkovitosti.
Opis
- V produkcijo uvajajte napredne metode sklepanja, kot so kvantizacija, špekulativno dekodiranje, ponovna uporaba predpomnilnika KV, segmentirano predizpolnjevanje, LoRA, vodeno generiranje ter prilagojeno razporejanje ali usmerjanje.
- Analizirajte celoten proces sklepanja ter optimizirajte režijo jeder, razporeditev v pomnilniku, razporejanje zahtev, ločevanje predizpolnjevanja in dekodiranja ter usmerjanje, ki upošteva predpomnilnik.
- Povečujte število žetonov na uro GPU in izkoriščenost ob usklajevanju zakasnitve, prepustnosti in stroškov.
- Uvajajte in optimizirajte nove arhitekture modelov na novih strojnih platformah.
- Ustvarjajte primerjalne teste, ki zajemajo vrste modelov, velikosti paketov, dolžine zaporedij in strojne konfiguracije.
- Prispevajte izboljšave odprtokodnim projektom za sklepanje, vključno z vLLM, SGLang in TensorRT-LLM.
- Sodelujte z ekipami za modele, infrastrukturo in delo s strankami pri zagotavljanju merljivih izboljšav zmogljivosti.
Zahteve
- Diploma dodiplomskega, magistrskega ali doktorskega študija računalništva, inženirstva, matematike ali sorodne discipline.
- Poklicne izkušnje z vsaj enim splošnonamenskim programskim jezikom, vključno s Pythonom ali C++.
- Praktično poznavanje metod optimizacije LLM, kot so kvantizacija, špekulativno dekodiranje in neprekinjeno paketiranje.
- Odlično poznavanje knjižnic strojnega učenja, zlasti PyTorcha, TensorRT ali TensorRT-LLM.
- Dokazano zanimanje za velike jezikovne modele in praktične izkušnje z njimi.
- Temeljito razumevanje arhitekture GPU.
Ugodnosti
- Konkurenčen paket plačila z občutnim lastniškim deležem.
- Za zaposlene v ZDA popolno zdravstveno, zobozdravstveno in okulistično zavarovanje velja za zaposlene in njihove vzdrževane družinske člane.
- Prilagodljiv plačan dopust in zimski premor za celotno podjetje.
- Plačan starševski dopust.
- Podpora pri plodnosti in ustvarjanju družine prek štipendije Carrot.
- Za zaposlene v ZDA podjetje omogoča načrt 401(k).
- Priložnosti za delo z različnimi zagonskimi podjetji na področju strojnega učenja, kar omogoča veliko učenja in poklicnega mreženja.