Baseten poskytuje infrastrukturu pro inferenci modelů společnostem, které nasazují aplikace založené na strojovém učení a umělé inteligenci. Její platforma je určena pro rychlé a škálovatelné poskytování modelů a kombinuje vysokou propustnost inference, rychlé nasazení, automatické škálování, bezpečné poskytování modelů pro podnikové prostředí a podporu balení modelů s otevřeným zdrojovým kódem. Baseten pomáhá technickým týmům a týmům zaměřeným na strojové učení zvládat provozní nároky infrastruktury modelů, aby se mohly soustředit na vývoj modelů pro konkrétní domény. Společnost působí v oblasti umělé inteligence, SaaS a podnikových technologií a její tým tvoří 11 až 50 zaměstnanců.
Softwarový inženýr pro výkon inference ve společnosti Baseten (hybridní režim)
Baseten hledá inženýra pro výkon inference, který bude optimalizovat běhová prostředí LLM, GPU kernely a systémy pro obsluhu modelů. Náplň práce se zaměřuje na zvýšení rychlosti produkční inference, využití hardwaru a nákladové efektivity.
Popis
- Uvádět do produkčního provozu pokročilé metody inference, jako jsou kvantizace, spekulativní dekódování, opětovné využití KV cache, dávkovaný prefill, LoRA, řízené generování a vlastní plánování nebo směrování.
- Analyzovat celý inference pipeline a optimalizovat režii kernelů, umístění v paměti, plánování požadavků, oddělení prefill a decode a směrování s ohledem na cache.
- Zvyšovat počet tokenů na GPU hodinu a využití zdrojů při vyvažování latence, propustnosti a nákladů.
- Nasazovat a optimalizovat nové architektury modelů na nových hardwarových platformách.
- Vytvářet benchmarky pokrývající typy modelů, velikosti batchů, délky sekvencí a hardwarová nastavení.
- Přispívat vylepšeními do open source projektů pro inferenci včetně vLLM, SGLang a TensorRT-LLM.
- Spolupracovat s týmy pro modely, infrastrukturu a zákaznické týmy na dosažení měřitelných zlepšení výkonu.
Požadavky
- Vysokoškolské vzdělání na bakalářské, magisterské nebo doktorské úrovni v oboru informatiky, inženýrství, matematiky nebo příbuzném oboru.
- Pracovní zkušenost s alespoň jedním univerzálním programovacím jazykem, včetně Pythonu nebo C++.
- Praktická znalost metod optimalizace LLM, jako jsou kvantizace, spekulativní dekódování a kontinuální dávkování.
- Pokročilá znalost knihoven strojového učení, zejména PyTorch, TensorRT nebo TensorRT-LLM.
- Prokázaný zájem o velké jazykové modely a praktická zkušenost s jejich používáním.
- Důkladné porozumění architektuře GPU.
Benefity
- Konkurenceschopný balíček odměn s významnou účastí na vlastním kapitálu společnosti.
- U zaměstnanců v USA se plné zdravotní, zubní a oční pojištění vztahuje na zaměstnance i jejich závislé osoby.
- Flexibilní placené volno a celofiremní zimní přestávka.
- Placená rodičovská dovolená.
- Podpora léčby neplodnosti a budování rodiny prostřednictvím stipendia Carrot.
- U zaměstnanců v USA firemní plán 401(k).
- Příležitosti pracovat s řadou startupů v oblasti strojového učení a získat rozsáhlé možnosti vzdělávání a profesního networkingu.