adaption vyvíjí adaptivní systémy umělé inteligence a nástroje navržené tak, aby přizpůsobovaly inteligentní schopnosti jednotlivým uživatelům, jazykům, odvětvím a specializovaným okrajovým případům. Společnost působí v oblastech Adaptive Data, Adaptive Intelligence a Adaptive Interfaces — tyto přístupy pomáhají modelům průběžně se přizpůsobovat a podporovat pohotovější uživatelské prostředí bez tak silné závislosti na ručním zadávání promptů nebo na jediném monolitickém modelu. Technologie společnosti mohou být relevantní pro organizace, které zkoumají praktické využití AI v oblastech, jako jsou poradenství, logistika a marketing.
Inženýr inferencí — Adaption (hybridní režim, oblast Sanfranciského zálivu)
Optimalizujte inferenční infrastrukturu ve společnosti Adaption, která vyvíjí systémy adaptivní inteligence, a zvyšujte propustnost při současném snižování nákladů a latence. Zlepšujte obsluhu modelů na GPU, inferenčních enginech a v produkčních úlohách.
Popis
- Převezměte odpovědnost za náklady a výkon inferenčního stacku.
- Zvyšujte propustnost a snižujte náklady i latenci v dlouhém konci rozdělení pomocí správy KV cache, průběžného dávkování, spekulativního dekódování a kvantizace.
- Optimalizujte úlohy předvyplnění a dekódování dlouhých kontextů podle skutečného produkčního provozu.
- Upravujte směrování mezi interní infrastrukturou a externími poskytovateli s ohledem na náklady, kapacitu a výkon.
- Používejte enginy pro obsluhu modelů včetně vLLM, SGLang a TensorRT-LLM a v případě potřeby pracujte pod úrovní frameworku.
- Vyvíjejte systémy profilování a měření pro určení spotřeby času, paměti a výpočetních zdrojů.
- Úzce spolupracujte s inženýry odpovědnými za flotilu serverů pro obsluhu modelů.
Požadavky
- Mít alespoň pět let zkušeností se systémy ML, inferenční infrastrukturou nebo výkonnostním inženýrstvím a prokazatelné měřitelné zlepšení nákladů či latence.
- Prokazovat hluboké znalosti obsluhy modelů včetně předvyplnění a dekódování, propustnosti paměti, dávkování a souběžnosti.
- Mít produkční zkušenosti s enginy pro obsluhu modelů, jako jsou vLLM, SGLang nebo TensorRT-LLM.
- Sebevědomě používat Python a ovládat C++, Rust nebo jiný jazyk systémového programování.
- Rozumět tématům výkonu GPU včetně CUDA, NCCL, smíšené přesnosti, uspořádání paměti, kernelů nebo kvantizace.
- Být schopen pracovat osobně v oblasti Sanfranciského zálivu v hybridním režimu.
Benefity
- Kombinovat osobní spolupráci v oblasti Sanfranciského zálivu s distribuovaným globálně orientovaným týmem a týmovými výjezdy.
- Získat každoroční cestovní příspěvek Adaption Passport na poznávání země, kterou jste dosud nenavštívili.
- Dostávat týdenní příspěvek na jídlo s sebou nebo donášku potravin.
- Využívat komplexní zdravotní pojištění a štědrou placenou dovolenou.