adaption vyvíja adaptívne systémy umelej inteligencie a nástroje navrhnuté tak, aby prispôsobovali inteligenciu jednotlivým používateľom, jazykom, odvetviam a špecializovaným okrajovým prípadom. Jej činnosť zahŕňa Adaptívne dáta, Adaptívnu inteligenciu a Adaptívne rozhrania – prístupy, ktoré pomáhajú modelom priebežne sa prispôsobovať a podporujú pohotovejšie používateľské prostredia bez takej výraznej závislosti od manuálneho zadávania pokynov alebo jediného monolitického modelu. Technológia spoločnosti je relevantná pre organizácie, ktoré skúmajú praktické využitie umelej inteligencie v oblastiach, ako sú poradenstvo, logistika a marketing.
Inžinier inferencie — Adaption (hybridne, oblasť Bay Area)
Optimalizujte inferenčnú infraštruktúru pre priepustnosť, náklady a latenciu v spoločnosti Adaption, ktorá vyvíja adaptívne inteligentné systémy. Zlepšujte obsluhu modelov naprieč GPU, inferenčnými nástrojmi a produkčnými záťažami.
Popis
- Prevezmete hlavné vlastníctvo nákladov a výkonu inferenčného zásobníka.
- Zvýšite priepustnosť a znížite náklady aj koncovú latenciu pomocou správy KV cache, kontinuálneho dávkovania, špekulatívneho dekódovania a kvantizácie.
- Optimalizujete predvyplnenie a dekódovanie dlhého kontextu podľa skutočnej produkčnej prevádzky.
- Upravíte smerovanie medzi internou infraštruktúrou a externými poskytovateľmi podľa nákladov, kapacity a výkonu.
- Budete používať obslužné enginy vrátane vLLM, SGLang a TensorRT-LLM a v prípade potreby pracovať aj pod úrovňou frameworku.
- Vyviniete systémy na profilovanie a meranie, ktoré určia využitie času, pamäte a výpočtových zdrojov.
- Budete úzko spolupracovať s inžiniermi zodpovednými za flotilu obslužných serverov.
Požiadavky
- Máte aspoň päť rokov skúseností so systémami strojového učenia, inferenčnou infraštruktúrou alebo výkonnostným inžinierstvom a preukázateľné zlepšenia nákladov alebo latencie.
- Preukážete hlboké znalosti obsluhy modelov vrátane predvyplnenia a dekódovania, pamäťovej priepustnosti, dávkovania a súbežnosti.
- Máte produkčné skúsenosti s obslužnými enginmi, ako sú vLLM, SGLang alebo TensorRT-LLM.
- Sebavedomo používate Python a ovládate C++, Rust alebo iný systémový programovací jazyk.
- Rozumiete témam výkonu GPU vrátane CUDA, NCCL, zmiešanej presnosti, rozloženia pamäte, kernelov alebo kvantizácie.
- Dokážete pracovať osobne v oblasti Bay Area v hybridnom režime.
Benefity
- Spojíte osobnú spoluprácu v oblasti Bay Area s distribuovaným globálnym tímom a tímovými výjazdmi.
- Dostanete ročný cestovný príspevok Adaption Passport na objavovanie krajiny, ktorú ste predtým nenavštívili.
- Získate týždenný príspevok na jedlá z donášky alebo doručenie potravín.
- Budete mať prístup ku komplexnému zdravotnému poisteniu a štedrému voľnu.