adaption razvija prilagodljive sisteme umetne inteligence in orodja, namenjena prilagajanju inteligence posameznim uporabnikom, jezikom, panogam in specializiranim robnim primerom. Njeno delo zajema prilagodljive podatke, prilagodljivo inteligenco in prilagodljive vmesnike – pristope, ki modelom pomagajo pri nenehnem prilagajanju ter podpirajo odzivnejšo uporabniško izkušnjo brez tolikšnega zanašanja na ročno oblikovanje pozivov ali en sam monolitni model. Tehnologija podjetja je pomembna za organizacije, ki raziskujejo praktične uporabe umetne inteligence na področjih, kot so svetovanje, logistika in trženje.
Inženir za inferenco — Adaption (hibridno, območje Bay Area)
Optimizirali boste infrastrukturo za inferenco glede prepustnosti, stroškov in zakasnitve v podjetju Adaption, ki razvija prilagodljive inteligentne sisteme. Izboljševali boste streženje modelov prek grafičnih procesorjev, inferenčnih pogonov in produkcijskih obremenitev.
Opis
- Prevzeli boste glavno odgovornost za stroške in zmogljivost inferenčnega sklada.
- Povečevali boste prepustnost ter zmanjševali stroške in repno zakasnitev z upravljanjem predpomnilnika KV, neprekinjenim paketnim združevanjem, spekulativnim dekodiranjem in kvantizacijo.
- Optimizirali boste obremenitve za predizpolnjevanje in dekodiranje dolgih kontekstov glede na dejanski produkcijski promet.
- Prilagajali boste usmerjanje med interno infrastrukturo in zunanjimi ponudniki glede na stroške, zmogljivost in učinkovitost.
- Uporabljali boste pogone za streženje, vključno z vLLM, SGLang in TensorRT-LLM, ter po potrebi delali pod ravnjo ogrodja.
- Razvijali boste sisteme za profiliranje in merjenje, s katerimi boste določali porabo časa, pomnilnika in računskih virov.
- Tesno boste sodelovali z inženirji, odgovornimi za strežniško infrastrukturo.
Zahteve
- Imate najmanj pet let izkušenj s sistemi strojnega učenja, infrastrukturo za inferenco ali inženirstvom zmogljivosti ter merljive izboljšave stroškov ali zakasnitve.
- Dokazujete poglobljeno znanje streženja modelov, vključno s predizpolnjevanjem in dekodiranjem, pasovno širino pomnilnika, paketnim združevanjem in sočasnostjo.
- Imate produkcijske izkušnje s pogoni za streženje, kot so vLLM, SGLang ali TensorRT-LLM.
- Samozavestno uporabljate Python in obvladate C++, Rust ali drug sistemski programski jezik.
- Razumete teme zmogljivosti grafičnih procesorjev, vključno s CUDA, NCCL, mešano natančnostjo, razporeditvijo pomnilnika, jedri ali kvantizacijo.
- Lahko delate osebno na območju Bay Area v hibridni ureditvi.
Ugodnosti
- Združili boste osebno sodelovanje na območju Bay Area z razpršeno globalno ekipo in ekipnimi srečanji zunaj pisarne.
- Prejeli boste letni potovalni dodatek Adaption Passport za raziskovanje države, ki je še niste obiskali.
- Prejeli boste tedenski dodatek za dostavo pripravljenih obrokov ali živil.
- Imeli boste dostop do celovitega zdravstvenega kritja in radodarnega plačanega dopusta.