Baseten poskytuje infraštruktúru na inferenciu modelov pre spoločnosti, ktoré nasadzujú aplikácie strojového učenia a umelej inteligencie. Jeho platforma je navrhnutá na rýchle a škálovateľné poskytovanie modelov a spája vysokokapacitnú inferenciu, rýchle nasadenie, automatické škálovanie, bezpečné poskytovanie modelov pre podniky a podporu balenia modelov s otvoreným zdrojovým kódom. Baseten pomáha inžinierskym tímom a tímom strojového učenia zvládať prevádzkové nároky modelovej infraštruktúry, aby sa mohli sústrediť na vývoj modelov špecifických pre jednotlivé domény. Spoločnosť pôsobí v oblasti umelej inteligencie, SaaS a podnikových technológií a má 11–50 zamestnancov.
Softvérový inžinier pre výkon inferencie v spoločnosti Baseten (hybridná práca)
Spoločnosť Baseten hľadá inžiniera alebo inžinierku pre výkon inferencie na optimalizáciu runtime prostredí LLM, GPU kernelov a systémov poskytovania modelov. Náplňou práce bude zvyšovanie rýchlosti produkčnej inferencie, využitia hardvéru a nákladovej efektívnosti.
Popis
- Uveďte do produkcie pokročilé metódy inferencie, ako sú kvantizácia, špekulatívne dekódovanie, opätovné využitie KV cache, dávkové predspracovanie po častiach, LoRA, riadené generovanie a vlastné plánovanie alebo smerovanie.
- Analyzujte celý inferenčný proces a optimalizujte réžiu kernelov, umiestnenie v pamäti, plánovanie požiadaviek, oddelenie predspracovania a dekódovania a smerovanie zohľadňujúce cache.
- Zvyšujte počet tokenov na GPU hodinu a mieru využitia pri vyvažovaní latencie, priepustnosti a nákladov.
- Nasadzujte a optimalizujte nové architektúry modelov na nových hardvérových platformách.
- Vytvárajte benchmarky zahŕňajúce typy modelov, veľkosti dávok, dĺžky sekvencií a hardvérové konfigurácie.
- Prispievajte vylepšeniami do open-source projektov zameraných na inferenciu vrátane vLLM, SGLang a TensorRT-LLM.
- Spolupracujte s tímami pre modely, infraštruktúru a zákaznícke projekty na dosahovaní merateľného zvýšenia výkonu.
Požiadavky
- Vysokoškolské vzdelanie na bakalárskej, magisterskej alebo doktorandskej úrovni v odbore informatika, inžinierstvo, matematika alebo príbuznom odbore.
- Odborná prax aspoň s jedným univerzálnym programovacím jazykom vrátane Pythonu alebo C++.
- Praktická znalosť optimalizačných metód pre LLM, ako sú kvantizácia, špekulatívne dekódovanie a kontinuálne dávkovanie.
- Pokročilé znalosti knižníc strojového učenia, najmä PyTorch, TensorRT alebo TensorRT-LLM.
- Preukázaný záujem o veľké jazykové modely a praktické skúsenosti s nimi.
- Dôkladné porozumenie architektúre GPU.
Benefity
- Konkurenčný balík odmeňovania s významnou účasťou na vlastnom imaní.
- Zamestnanci v USA získajú úplné zdravotné, zubné a očné poistenie aj pre svojich rodinných príslušníkov.
- Flexibilné platené voľno a firemná zimná prestávka.
- Platené rodičovské voľno.
- Podpora plodnosti a zakladania rodiny prostredníctvom príspevku Carrot.
- Zamestnanci v USA majú k dispozícii firemne sprostredkovaný plán 401(k).
- Príležitosti spolupracovať s rôznymi startupmi v oblasti strojového učenia a rozvíjať si znalosti aj profesionálne kontakty.