Baseten poskytuje infraštruktúru na inferenciu modelov pre spoločnosti, ktoré nasadzujú aplikácie strojového učenia a umelej inteligencie. Jeho platforma je navrhnutá na rýchle a škálovateľné poskytovanie modelov a spája vysokokapacitnú inferenciu, rýchle nasadenie, automatické škálovanie, bezpečné poskytovanie modelov pre podniky a podporu balenia modelov s otvoreným zdrojovým kódom. Baseten pomáha inžinierskym tímom a tímom strojového učenia zvládať prevádzkové nároky modelovej infraštruktúry, aby sa mohli sústrediť na vývoj modelov špecifických pre jednotlivé domény. Spoločnosť pôsobí v oblasti umelej inteligencie, SaaS a podnikových technológií a má 11–50 zamestnancov.
Softvérový inžinier, platforma inferencie LLM – Baseten Hybrid
Budujte distribuovanú platformu inferencie LLM spoločnosti Baseten pre AI firmy. Pracujte na orchestrácii Kubernetes, modelových API, smerovaní, automatickom škálovaní a monitorovaní produkcie.
Popis
- Budovanie infraštruktúry a orchestrácie pre rozsiahlu distribuovanú inferenciu LLM vrátane smerovania, automatického škálovania, plánovania a správy behu.
- Vývoj a prevádzka modelových API s podporou štruktúrovaných výstupov, volania nástrojov a funkcií a multimodálneho spracovania.
- Implementácia verziovania API, validácie požiadaviek, merania využitia, kvót a autentifikácie.
- Vytváranie instrumentácie pre metriky, trasovanie a logy spolu s opakovateľnými benchmarkmi rýchlosti, spoľahlivosti a kvality.
- Definovanie kvalitných postupov testovania, automatizácie vydávania a prevádzkovej excelentnosti.
- Diagnostika a posilňovanie produkčných systémov naprieč Kubernetes, distribuovanými runtime prostrediami, sieťami a GPU záťažami.
- Spolupráca s inžiniermi výkonu inferencie a partnerskými tímami na optimalizáciách orientovaných na zákazníkov.
- Vedenie projektov od architektúry a nasadenia až po monitorovanie a iterácie založené na spätnej väzbe zákazníkov.
- Vyvažovanie výkonu systému, spoľahlivosti, prevádzkovej jednoduchosti a skúsenosti vývojárov.
Požiadavky
- Bakalárske, magisterské alebo doktorandské vzdelanie v odbore informatika, inžinierstvo alebo príbuznom odbore, prípadne ekvivalentné praktické skúsenosti.
- Aspoň tri roky skúseností s budovaním a prevádzkou distribuovaných systémov, backendovej infraštruktúry alebo rozsiahlych API, kde sú kritické spoľahlivosť, latencia a škálovateľnosť.
- Preukázateľná zodpovednosť za backendové služby s nízkou latenciou a vysokou spoľahlivosťou vrátane obmedzovania rýchlosti, autentifikácie, kvót, merania využitia a migrácií.
- Silný úsudok v oblasti infraštruktúry vrátane skúseností s profilovaním, trasovaním, plánovaním kapacity a správou SLO.
- Schopnosť diagnostikovať problémy s výkonom a spoľahlivosťou naprieč aplikačnou, runtime a infraštruktúrnou vrstvou.
- Silné zameranie na skúsenosť vývojárov.
- Ochota učiť sa nové jazyky, frameworky a systémy so záujmom o inžinierstvo inferencie.
- Vynikajúce písomné komunikačné a kooperačné schopnosti vrátane jasnej projektovej dokumentácie a efektívnej medziodborovej spolupráce.
- Skúsenosti s inferenčnými enginmi alebo frameworkmi pre LLM, ako sú vLLM, SGLang, TensorRT-LLM, TGI alebo Dynamo, prípadne príspevky do nich, sú výhodou.
- Hlboké skúsenosti s Kubernetes vrátane operátorov a vlastných zdrojov; znalosť service mesh alebo API gateway je výhodou.
- Skúsenosti s distribuovaným plánovaním, automatickým škálovaním alebo orchestráciou služieb sú výhodou.
- Skúsenosti s prevádzkou GPU záťaží v produkcii sú výhodou.
- Skúsenosti s infraštruktúrou alebo API orientovanými na vývojárov, prípadne príspevky do open-source infraštruktúry alebo systémov strojového učenia, sú výhodou.
- Znalosť nástrojov observability, systémov CI/CD alebo automatizácie vydávania je výhodou.
Benefity
- Konkurencieschopné odmeňovanie s významným podielom vo forme akcií.
- Pre zamestnancov a závislé osoby v USA úplné pokrytie zdravotného, zubného a očného poistenia.
- Flexibilné platené voľno vrátane firemnej zimnej prestávky.
- Platená rodičovská dovolenka.
- Podpora plodnosti a zakladania rodiny prostredníctvom príspevku Carrot.
- Pre zamestnancov v USA firemným sprostredkovaný plán 401(k).
- Kontakt s rôznymi startupmi v oblasti strojového učenia, čo prináša významné príležitosti na učenie a profesionálne vytváranie kontaktov.