Baseten zapewnia infrastrukturę do wnioskowania modeli dla firm wdrażających aplikacje oparte na uczeniu maszynowym i sztucznej inteligencji. Platforma została zaprojektowana z myślą o szybkim i skalowalnym udostępnianiu modeli, łącząc wysoką przepustowość wnioskowania, szybkie wdrażanie, automatyczne skalowanie, bezpieczne udostępnianie modeli klasy korporacyjnej oraz obsługę pakowania modeli open source. Baseten pomaga zespołom inżynieryjnym i zespołom zajmującym się uczeniem maszynowym zarządzać operacyjnymi wymaganiami infrastruktury modeli, aby mogły koncentrować się na tworzeniu modeli dostosowanych do konkretnych dziedzin. Firma działa w obszarach sztucznej inteligencji, SaaS i technologii dla przedsiębiorstw, a jej zespół liczy od 11 do 50 pracowników.
Inżynier ds. wydajności inferencji w Baseten (praca hybrydowa)
Baseten poszukuje inżyniera ds. wydajności inferencji do optymalizacji środowisk uruchomieniowych LLM, jąder GPU i systemów obsługi modeli. Rola koncentruje się na zwiększaniu szybkości inferencji produkcyjnej, wykorzystania sprzętu i efektywności kosztowej.
Opis
- Wdrażać do produkcji zaawansowane metody inferencji, takie jak kwantyzacja, dekodowanie spekulatywne, ponowne wykorzystanie pamięci podręcznej KV, porcjowany prefill, LoRA, generowanie sterowane oraz niestandardowe planowanie lub routing.
- Analizować cały potok inferencji, optymalizując narzut jąder, rozmieszczenie pamięci, planowanie żądań, rozdzielenie prefill i decode oraz routing uwzględniający pamięć podręczną.
- Zwiększać liczbę tokenów na godzinę GPU i wykorzystanie zasobów, zachowując równowagę między opóźnieniem, przepustowością i kosztami.
- Wdrażać i optymalizować nowe architektury modeli na nowych platformach sprzętowych.
- Tworzyć benchmarki obejmujące różne typy modeli, rozmiary partii, długości sekwencji i konfiguracje sprzętowe.
- Wprowadzać usprawnienia do projektów inferencji open source, w tym vLLM, SGLang i TensorRT-LLM.
- Współpracować z zespołami ds. modeli, infrastruktury i obsługi klienta, aby dostarczać mierzalne usprawnienia wydajności.
Wymagania
- Wykształcenie na poziomie licencjackim, magisterskim lub doktorskim w dziedzinie informatyki, inżynierii, matematyki lub pokrewnej dyscyplinie.
- Doświadczenie zawodowe w pracy z co najmniej jednym językiem programowania ogólnego przeznaczenia, w tym Pythonem lub C++.
- Praktyczna znajomość metod optymalizacji LLM, takich jak kwantyzacja, dekodowanie spekulatywne i ciągłe tworzenie partii.
- Biegła znajomość bibliotek uczenia maszynowego, w szczególności PyTorch, TensorRT lub TensorRT-LLM.
- Udowodnione zainteresowanie dużymi modelami językowymi i praktyczne doświadczenie w pracy z nimi.
- Dogłębne zrozumienie architektury GPU.
Benefity
- Konkurencyjny pakiet wynagrodzenia z istotnym udziałem kapitałowym.
- W przypadku pracowników w USA pełne ubezpieczenie medyczne, dentystyczne i okulistyczne obejmuje pracowników oraz osoby pozostające na ich utrzymaniu.
- Elastyczny płatny czas wolny oraz ogólnofirmowa przerwa zimowa.
- Płatny urlop rodzicielski.
- Wsparcie leczenia niepłodności i budowania rodziny w formie stypendium Carrot.
- W przypadku pracowników w USA firmowy plan 401(k).
- Możliwość pracy z różnymi startupami z obszaru uczenia maszynowego, zapewniająca szerokie możliwości nauki i nawiązywania kontaktów zawodowych.