Baseten
Baseten
Baseten poskytuje infrastrukturu pro inferenci modelů společnostem, které nasazují aplikace založené na strojovém učení a umělé inteligenci. Její platforma je určena pro rychlé a škálovatelné poskytování modelů a kombinuje vysokou propustnost inference, rychlé nasazení, automatické škálování, bezpečné poskytování modelů pro podnikové prostředí a podporu balení modelů s otevřeným zdrojovým kódem. Baseten pomáhá technickým týmům a týmům zaměřeným na strojové učení zvládat provozní nároky infrastruktury modelů, aby se mohly soustředit na vývoj modelů pro konkrétní domény. Společnost působí v oblasti umělé inteligence, SaaS a podnikových technologií a její tým tvoří 11 až 50 zaměstnanců.

Softwarový inženýr, platforma inference LLM — Baseten, hybridní režim

Budujte distribuovanou platformu inference LLM společnosti Baseten pro AI firmy. Budete pracovat na orchestraci Kubernetes, API modelů, routování, autoscaling a observabilitě v produkci.

Popis

  • Budovat infrastrukturu a orchestrace pro rozsáhlý distribuovaný inference LLM včetně routování, autoscalingu, plánování a správy běhového prostředí.
  • Vyvíjet a provozovat API modelů s podporou strukturovaných výstupů, volání nástrojů a funkcí a multimodálního poskytování.
  • Implementovat verzování API, validaci požadavků, měření využití, kvóty a autentizaci.
  • Vytvářet instrumentaci pro metriky, trasování a logy spolu s opakovatelnými benchmarky rychlosti, spolehlivosti a kvality.
  • Definovat kvalitní postupy pro testování, automatizaci vydávání a provozní excelenci.
  • Diagnostikovat a posilovat produkční systémy napříč Kubernetes, distribuovanými běhovými prostředími, sítěmi a GPU zátěžemi.
  • Spolupracovat s inženýry zaměřenými na výkon inference a partnerskými týmy na optimalizacích pro zákazníky.
  • Vést projekty od architektury a nasazení přes monitoring až po iterace vycházející ze zpětné vazby zákazníků.
  • Vyvažovat výkon systému, spolehlivost, provozní jednoduchost a zkušenost vývojářů.

Požadavky

  • Bakalářské, magisterské nebo doktorské vzdělání v oboru informatiky, inženýrství či příbuzném oboru nebo odpovídající praktická zkušenost.
  • Nejméně tři roky zkušeností s tvorbou a provozem distribuovaných systémů, backendové infrastruktury nebo rozsáhlých API, kde jsou klíčové spolehlivost, latence a škálovatelnost.
  • Prokazatelné zkušenosti s převzetím odpovědnosti za spolehlivé backendové služby s nízkou latencí zahrnující omezování rychlosti požadavků, autentizaci, kvóty, měření využití a migrace.
  • Dobré infrastrukturní rozhodování včetně zkušeností s profilováním, trasováním, plánováním kapacity a správou SLO.
  • Schopnost diagnostikovat problémy s výkonem a spolehlivostí na úrovni aplikace, běhového prostředí i infrastruktury.
  • Silné zaměření na zkušenost vývojářů.
  • Ochota učit se nové jazyky, frameworky a systémy a zájem o inženýrství inference.
  • Vynikající písemná komunikace a schopnost spolupráce včetně jasné projektové dokumentace a efektivní mezioborové práce.
  • Zkušenost s inference enginy nebo frameworky pro LLM, jako jsou vLLM, SGLang, TensorRT-LLM, TGI nebo Dynamo, případně příspěvky k nim, jsou výhodou.
  • Hluboká znalost Kubernetes včetně operátorů a vlastních zdrojů; znalost service meshů nebo API bran je výhodou.
  • Zkušenost s distribuovaným plánováním, autoscalingem nebo orchestrací služeb je výhodou.
  • Zkušenost s provozem GPU zátěží v produkci je výhodou.
  • Zkušenost s infrastrukturou nebo API pro vývojáře nebo příspěvky k open-source infrastruktuře či systémům strojového učení jsou výhodou.
  • Znalost nástrojů observability, systémů CI/CD nebo automatizace vydávání je výhodou.

Benefity

  • Konkurenceschopná odměna s významným podílem ve společnosti.
  • Pro zaměstnance a jejich vyživované osoby v USA plné pokrytí zdravotního, stomatologického a očního pojištění.
  • Flexibilní placené volno včetně celofiremní zimní přestávky.
  • Placená rodičovská dovolená.
  • Podpora léčby neplodnosti a budování rodiny prostřednictvím příspěvku Carrot.
  • Pro zaměstnance v USA firemní plán 401(k).
  • Kontakt s řadou ML startupů, který nabízí značné možnosti učení a profesního networkingu.

Související pracovní nabídky

Jagex

Ředitel designu MMORPG RuneScape ve společnosti Jagex

Jagex

Veďte designový tým Jagex při vývoji nového MMORPG RuneScape a utvářejte postup hráčů, ekonomiku, obsah i systémy živé hry. Spolupracujte s kreativním ředitelem a partnerskými týmy na tvorbě trvalého světa pro hráče.

Otevřít
AtkinsRéalis

Seniorní nebo hlavní manažer projektování, vodohospodářské projekty a výstavba

AtkinsRéalis

Veďte multidisciplinární týmy, které pro AtkinsRéalis realizují projekty návrhu a výstavby vodohospodářské infrastruktury. Dohlížejte na technické výstupy, harmonogram, rizika a technické týmy v kancelářích po celé Velké Británii.

Otevřít
Emerson

Seniorní produktový designér ve zdravotnictví (práce na dálku v Polsku)

Emerson

Navrhujte propracovaná rozhraní, prototypy a design systémy pro produkt ve zdravotnictví. Spolupracujte s klienty a inženýry a využívejte nástroje AI při výzkumu a prototypování.

Otevřít