Baseten poskytuje infraštruktúru na inferenciu modelov pre spoločnosti, ktoré nasadzujú aplikácie strojového učenia a umelej inteligencie. Jeho platforma je navrhnutá na rýchle a škálovateľné poskytovanie modelov a spája vysokokapacitnú inferenciu, rýchle nasadenie, automatické škálovanie, bezpečné poskytovanie modelov pre podniky a podporu balenia modelov s otvoreným zdrojovým kódom. Baseten pomáha inžinierskym tímom a tímom strojového učenia zvládať prevádzkové nároky modelovej infraštruktúry, aby sa mohli sústrediť na vývoj modelov špecifických pre jednotlivé domény. Spoločnosť pôsobí v oblasti umelej inteligencie, SaaS a podnikových technológií a má 11–50 zamestnancov.
Manažér/ka inžinierstva výkonu GPU inferencie v spoločnosti Baseten
Veďte inžinierstvo výkonu GPU inferencie v spoločnosti Baseten, ktorá sa zaoberá infraštruktúrou pre umelú inteligenciu. Usmerňujte optimalizáciu runtime, efektivitu modelov a rast špecializovaného technického tímu.
Popis
- Riadiť, mentorovať a rozvíjať inžinierov výkonu inferencie prostredníctvom pravidelných individuálnych stretnutí, spätnej väzby, plánovania kariéry a hodnotení výkonu
- Naberať GPU a inferenčných inžinierov a zároveň budovať kultúru spolupráce v tíme
- Zodpovedať za plán výkonu runtime a jeho realizáciu
- Posudzovať technické návrhy, riadiť profilovanie a optimalizáciu a pomáhať inžinierom vyhodnocovať časovú a pamäťovú náročnosť
- Uvádzať do produkcie kvantizáciu, špekulatívne dekódovanie, opätovné využitie KV cache, dávkové predspracovanie po častiach a vlastné plánovanie
- Premieňať zlepšenia výkonu na merateľné zlepšenia v počte tokenov na GPU-hodinu, využití, latencii a nákladoch
- Nasadzovať nové architektúry modelov na novovznikajúci hardvér a optimalizovať ich výkon
- Spolupracovať s tímami Infrastructure, Inference Platform, Kernels, Model APIs a tímami orientovanými na zákazníkov s cieľom určovať priority, koordinovať uvedenia a prinášať zlepšenia
- Stanoviť inžinierske štandardy pre kvalitu, benchmarkovanie, prevádzkovú dokonalosť a reakciu na incidenty
- Rozvíjať optimalizáciu agentickej inferencie, agentické kernely, trénovanie modelov so špekulatívnym dekódovaním a Baseten Inference Stack
Požiadavky
- Bakalárske, magisterské alebo doktorandské vzdelanie v odbore informatika, inžinierstvo, matematika alebo príbuznom odbore
- Skúsenosti s riadením vrátane náboru inžinierov, mentoringu, spätnej väzby a hodnotení výkonu
- Skúsenosti s vedením tímov optimalizácie GPU alebo úzkou spoluprácou s nimi v oblasti trénovania, inferencie alebo odporúčacích systémov
- Hlboké technické znalosti GPU úloh, architektúry a kompromisov vo výkone
- Znalosť knižníc strojového učenia vrátane PyTorch, TensorRT alebo TensorRT-LLM
- Preukázaná schopnosť vytvárať plány a s tímom realizovať komplexné technické projekty
- Vynikajúce písomné a ústne komunikačné schopnosti potrebné na zosúladenie zainteresovaných strán naprieč tímami
- Znalosť inferenčných enginov, ako sú vLLM, SGLang alebo TensorRT-LLM
- Skúsenosti s uplatňovaním metód optimalizácie LLM, ako sú kvantizácia, špekulatívne dekódovanie a kontinuálne dávkovanie
- Skúsenosti s vývojom GPU kernelov alebo prácou s nimi pomocou CUDA, Triton alebo CUTLASS
- Skúsenosti so škálovaním inžinierskeho tímu počas rýchleho rastu startupu
- Predchádzajúca praktická skúsenosť s prácou inžiniera výkonu alebo systémového inžiniera pred prechodom do manažmentu
Benefity
- Konkurencieschopný balík odmeňovania s významným podielom vo forme akcií
- Pre zamestnancov v USA úplné zdravotné, zubné a očné poistenie pre zamestnancov a ich závislé osoby
- Flexibilné platené voľno vrátane celofiremnej zimnej prestávky
- Platená rodičovská dovolenka
- Podpora plodnosti a zakladania rodiny prostredníctvom Carrot
- Pre zamestnancov v USA firemne sprostredkovaný plán 401(k)
- Príležitosti pracovať s rôznymi startupmi v oblasti strojového učenia a budovať si kontakty v odvetví