Baseten zagotavlja infrastrukturo za izvajanje modelov podjetjem, ki uvajajo aplikacije strojnega učenja in umetne inteligence. Njegova platforma je zasnovana za hitro in razširljivo streženje modelov ter združuje izvajanje z visoko prepustnostjo, hitro uvajanje, samodejno prilagajanje obsega, varno streženje modelov za podjetja in podporo pakiranju odprtokodnih modelov. Baseten inženirskim ekipam ter ekipam za strojno učenje pomaga upravljati operativne zahteve infrastrukture modelov, da se lahko osredotočijo na razvoj modelov, prilagojenih posameznim področjem. Podjetje deluje na področjih umetne inteligence, SaaS in poslovne tehnologije ter ima 11–50 zaposlenih.
Vodja inženiringa zmogljivosti GPU sklepanja pri podjetju Baseten
Vodite inženiring zmogljivosti GPU sklepanja pri podjetju Baseten, ki razvija infrastrukturo za umetno inteligenco. Usmerjajte optimizacijo izvajalnega okolja, učinkovitost modelov in rast specializirane tehnične ekipe.
Opis
- Voditi, mentorirati in razvijati inženirje za zmogljivost sklepanja z rednimi individualnimi sestanki, povratnimi informacijami, načrtovanjem kariere in ocenami uspešnosti
- Zaposlovati GPU- inženirje ter inženirje za sklepanje in hkrati spodbujati sodelovalno kulturo v ekipi
- Prevzeti odgovornost za načrt in izvedbo zmogljivosti izvajalnega okolja
- Pregledovati tehnične zasnove, usmerjati profiliranje in optimizacijo ter pomagati inženirjem pri ocenjevanju časa in porabe pomnilnika
- V produkcijo uvajati kvantizacijo, spekulativno dekodiranje, ponovno uporabo predpomnilnika KV, razčlenjeno predpolnjenje in prilagojeno razporejanje
- Izboljšave zmogljivosti pretvarjati v merljive izboljšave števila žetonov na GPU-uro, izkoriščenosti, zakasnitve in stroškov
- Nove arhitekture modelov uvajati na nastajajočo strojno opremo in prilagajati njihovo zmogljivost
- Sodelovati z ekipami Infrastructure, Inference Platform, Kernels, Model APIs in ekipami, usmerjenimi v stranke, pri določanju prednostnih nalog, usklajevanju zagonov in zagotavljanju izboljšav
- Vzpostaviti inženirske standarde za kakovost, primerjalno testiranje, operativno odličnost in odzivanje na incidente
- Napredovati pri optimizaciji agentnega sklepanja, agentnih jedrih, učenju modelov s spekulativnim dekodiranjem in Baseten Inference Stack
Zahteve
- Diploma prve, druge ali tretje stopnje iz računalništva, inženirstva, matematike ali sorodnega področja
- Vodstvene izkušnje, ki vključujejo zaposlovanje inženirjev, mentoriranje, povratne informacije in ocenjevanje uspešnosti
- Izkušnje z vodenjem ekip za optimizacijo GPU ali tesnim sodelovanjem z njimi pri učenju, sklepanju ali sistemih priporočil
- Poglobljeno tehnično znanje GPU-delovnih obremenitev, arhitekture in kompromisov zmogljivosti
- Poznavanje knjižnic strojnega učenja, vključno s PyTorch, TensorRT ali TensorRT-LLM
- Dokazana sposobnost določanja načrtov in izvedbe kompleksnih tehničnih projektov z ekipo
- Odlične pisne in ustne komunikacijske sposobnosti za usklajevanje deležnikov med ekipami
- Poznavanje pogonov za sklepanje, kot so vLLM, SGLang ali TensorRT-LLM
- Izkušnje z uporabo metod optimizacije LLM, kot so kvantizacija, spekulativno dekodiranje in neprekinjeno paketiranje
- Izkušnje z razvojem GPU-jeder ali delom z njimi s pomočjo CUDA, Triton ali CUTLASS
- Izkušnje s povečevanjem inženirske ekipe med hitro rastjo startupa
- Predhodne praktične izkušnje kot inženir za zmogljivost ali sistemski inženir pred prehodom v vodenje
Ugodnosti
- Konkurenčen paket plačila z pomembnim lastniškim deležem
- Za zaposlene v ZDA celotno zdravstveno, zobozdravstveno in okulistično kritje za zaposlene in vzdrževane družinske člane
- Prilagodljiv plačan dopust, vključno z zimskim premorom za celotno podjetje
- Plačan starševski dopust
- Podpora plodnosti in ustvarjanju družine prek storitve Carrot
- Za zaposlene v ZDA načrt 401(k), ki ga omogoča podjetje
- Priložnosti za delo z različnimi zagonskimi podjetji na področju strojnega učenja in vzpostavljanje povezav v panogi