adaption razvija prilagodljive sustave umjetne inteligencije i alate osmišljene za prilagodbu inteligencije pojedinačnim korisnicima, jezicima, industrijama i specijaliziranim rubnim slučajevima. Njezin rad obuhvaća Prilagodljive podatke, Prilagodljivu inteligenciju i Prilagodljiva sučelja — pristupe koji modelima pomažu da se kontinuirano prilagođavaju i podržavaju responzivnija korisnička iskustva bez tolikog oslanjanja na ručno zadavanje uputa ili jedan monolitni model. Tehnologija tvrtke relevantna je za organizacije koje istražuju praktične primjene umjetne inteligencije u područjima kao što su savjetovanje, logistika i marketing.
Inženjer inferencije — Adaption (hibridno, područje Bay Area)
Optimizirajte infrastrukturu za inferenciju radi propusnosti, troškova i latencije u tvrtki Adaption, koja razvija prilagodljive inteligentne sustave. Poboljšajte posluživanje modela na GPU-ovima, inferencijskim mehanizmima i produkcijskim radnim opterećenjima.
Opis
- Preuzet ćete glavnu odgovornost za troškove i performanse inferencijskog sustava.
- Povećat ćete propusnost te smanjiti troškove i repnu latenciju upravljanjem KV predmemorijom, kontinuiranim grupiranjem, spekulativnim dekodiranjem i kvantizacijom.
- Optimizirat ćete prefill i decode radna opterećenja s dugim kontekstom prema stvarnom produkcijskom prometu.
- Prilagođavat ćete usmjeravanje između interne infrastrukture i vanjskih pružatelja prema troškovima, kapacitetu i performansama.
- Koristit ćete mehanizme za posluživanje kao što su vLLM, SGLang i TensorRT-LLM te po potrebi raditi ispod razine frameworka.
- Razvit ćete sustave za profiliranje i mjerenje kako biste utvrdili potrošnju vremena, memorije i računalnih resursa.
- Blisko ćete surađivati s inženjerima odgovornima za flotu poslužitelja.
Zahtjevi
- Imate najmanje pet godina iskustva u sustavima strojnog učenja, infrastrukturi za inferenciju ili inženjerstvu performansi, uz mjerljiva poboljšanja troškova ili latencije.
- Imate duboko znanje posluživanja modela, uključujući prefill i decode, memorijsku propusnost, grupiranje i konkurentnost.
- Imate produkcijsko iskustvo s mehanizmima za posluživanje kao što su vLLM, SGLang ili TensorRT-LLM.
- Samouvjereno koristite Python te dobro poznajete C++, Rust ili drugi sistemski programski jezik.
- Razumijete teme GPU performansi, uključujući CUDA, NCCL, miješanu preciznost, raspored memorije, kernele ili kvantizaciju.
- Možete raditi osobno na području Bay Area u hibridnom načinu rada.
Pogodnosti
- Spojit ćete suradnju uživo na području Bay Area s distribuiranim globalnim timom i timskim okupljanjima izvan ureda.
- Dobit ćete godišnji putni dodatak Adaption Passport za istraživanje zemlje koju prethodno niste posjetili.
- Dobit ćete tjedni dodatak za dostavu gotovih jela ili namirnica.
- Imat ćete pristup sveobuhvatnom zdravstvenom osiguranju i izdašnom plaćenom dopustu.