Baseten pruža infrastrukturu za izvođenje modela tvrtkama koje uvode aplikacije strojnog učenja i umjetne inteligencije. Njegova je platforma izgrađena za brzo i skalabilno posluživanje modela te objedinjuje izvođenje velike propusnosti, brzu implementaciju, automatsko skaliranje, sigurno posluživanje modela za poduzeća i podršku za pakiranje modela otvorenog koda. Baseten pomaže inženjerskim timovima i timovima za strojno učenje upravljati operativnim zahtjevima infrastrukture modela kako bi se mogli usredotočiti na razvoj modela specifičnih za pojedine domene. Tvrtka posluje u područjima umjetne inteligencije, SaaS-a i poslovne tehnologije te ima 11–50 zaposlenika.
Voditelj inženjeringa performansi GPU inferencije u Basetenu
Vodite inženjering performansi GPU inferencije u Basetenu, tvrtki za infrastrukturu umjetne inteligencije. Usmjeravajte optimizaciju runtimea, učinkovitost modela i rast specijaliziranog tehničkog tima.
Opis
- Upravljati, mentorirati i razvijati inženjere za performanse inferencije kroz redovite individualne sastanke, povratne informacije, planiranje karijere i procjene učinka
- Zapošljavati GPU i inženjere za inferenciju uz poticanje suradničke kulture u timu
- Preuzeti odgovornost za plan performansi runtimea i njegovu provedbu
- Pregledavati tehničke dizajne, usmjeravati profiliranje i optimizaciju te pomagati inženjerima u procjeni vremena i potrošnje memorije
- Uvesti u produkciju kvantizaciju, spekulativno dekodiranje, ponovnu upotrebu KV predmemorije, segmentirano predpopunjavanje i prilagođeno raspoređivanje
- Pretvoriti poboljšanja performansi u mjerljiva poboljšanja broja tokena po GPU-satu, iskorištenosti, latencije i troška
- Uvesti nove arhitekture modela na noviji hardver i prilagoditi njihove performanse
- Surađivati s timovima Infrastructure, Inference Platform, Kernels, Model APIs i timovima usmjerenima na korisnike radi određivanja prioriteta, koordinacije pokretanja i isporuke poboljšanja
- Uspostaviti inženjerske standarde za kvalitetu, benchmarking, izvrsnost operacija i odgovor na incidente
- Unaprijediti optimizaciju agentne inferencije, agentne kernele, treniranje modela sa spekulativnim dekodiranjem i Baseten Inference Stack
Zahtjevi
- Prvostupnička, diplomska ili doktorska diploma iz računalnih znanosti, inženjerstva, matematike ili srodnog područja
- Iskustvo u upravljanju koje obuhvaća zapošljavanje inženjera, mentoriranje, povratne informacije i procjene učinka
- Iskustvo u vođenju GPU timova za optimizaciju ili bliskoj suradnji s njima u treniranju, inferenciji ili sustavima preporuka
- Duboko tehničko znanje GPU radnih opterećenja, arhitekture i kompromisa performansi
- Poznavanje biblioteka strojnog učenja, uključujući PyTorch, TensorRT ili TensorRT-LLM
- Dokazana sposobnost postavljanja planova i isporuke složenih tehničkih projekata s timom
- Izvrsne pisane i usmene komunikacijske vještine za usklađivanje dionika među timovima
- Poznavanje inferencijskih enginea kao što su vLLM, SGLang ili TensorRT-LLM
- Iskustvo u primjeni metoda optimizacije LLM-ova kao što su kvantizacija, spekulativno dekodiranje i kontinuirano grupiranje
- Iskustvo u razvoju GPU kernela ili radu s njima uz CUDA-u, Triton ili CUTLASS
- Iskustvo u povećanju inženjerskog tima tijekom brzog rasta startupa
- Prethodno praktično iskustvo kao inženjer za performanse ili sistemski inženjer prije prelaska u upravljanje
Pogodnosti
- Konkurentan paket naknade s vrijednim vlasničkim udjelom
- Za zaposlenike u SAD-u potpuno zdravstveno, stomatološko i oftalmološko osiguranje za zaposlenike i uzdržavane članove
- Fleksibilno plaćeno slobodno vrijeme, uključujući zimski odmor za cijelu tvrtku
- Plaćeni roditeljski dopust
- Podrška plodnosti i osnivanju obitelji putem Carrota
- Za zaposlenike u SAD-u plan 401(k) koji organizira tvrtka
- Prilike za rad s nizom startupa u području strojnog učenja i izgradnju kontakata u industriji