Baseten zapewnia infrastrukturę do wnioskowania modeli dla firm wdrażających aplikacje oparte na uczeniu maszynowym i sztucznej inteligencji. Platforma została zaprojektowana z myślą o szybkim i skalowalnym udostępnianiu modeli, łącząc wysoką przepustowość wnioskowania, szybkie wdrażanie, automatyczne skalowanie, bezpieczne udostępnianie modeli klasy korporacyjnej oraz obsługę pakowania modeli open source. Baseten pomaga zespołom inżynieryjnym i zespołom zajmującym się uczeniem maszynowym zarządzać operacyjnymi wymaganiami infrastruktury modeli, aby mogły koncentrować się na tworzeniu modeli dostosowanych do konkretnych dziedzin. Firma działa w obszarach sztucznej inteligencji, SaaS i technologii dla przedsiębiorstw, a jej zespół liczy od 11 do 50 pracowników.
Inżynier oprogramowania, platforma wnioskowania LLM — Baseten, praca hybrydowa
Twórz rozproszoną platformę wnioskowania LLM firmy Baseten dla przedsiębiorstw AI. Pracuj nad orkiestracją Kubernetes, API modeli, routingiem, autoskalowaniem i obserwowalnością produkcyjną.
Opis
- Tworzyć infrastrukturę i orkiestrację na potrzeby wielkoskalowego, rozproszonego wnioskowania LLM, obejmującego routing, autoskalowanie, planowanie i zarządzanie środowiskiem uruchomieniowym.
- Rozwijać i obsługiwać API modeli wspierające ustrukturyzowane wyniki, wywoływanie narzędzi i funkcji oraz obsługę multimodalną.
- Wdrażać wersjonowanie API, walidację żądań, pomiar wykorzystania, limity i uwierzytelnianie.
- Tworzyć instrumentację dla metryk, śladów i logów, a także powtarzalne benchmarki szybkości, niezawodności i jakości.
- Definiować dobre praktyki testowania, automatyzacji wydań i doskonałości operacyjnej.
- Diagnozować i wzmacniać systemy produkcyjne obejmujące Kubernetes, rozproszone środowiska uruchomieniowe, sieci i obciążenia GPU.
- Współpracować z inżynierami ds. wydajności wnioskowania oraz zespołami partnerskimi, aby dostarczać optymalizacje dla klientów.
- Prowadzić projekty od architektury i wdrożenia po monitorowanie oraz iteracyjne usprawnienia oparte na opiniach klientów.
- Równoważyć wydajność systemu, niezawodność, prostotę operacyjną i doświadczenie programistów.
Wymagania
- Wykształcenie wyższe na poziomie licencjackim, magisterskim lub doktorskim w dziedzinie informatyki, inżynierii lub pokrewnej albo równoważne doświadczenie praktyczne.
- Co najmniej trzy lata doświadczenia w tworzeniu i obsłudze systemów rozproszonych, infrastruktury backendowej lub wielkoskalowych API, w których kluczowe są niezawodność, opóźnienia i skalowalność.
- Udokumentowane doświadczenie w samodzielnym rozwijaniu niezawodnych usług backendowych o niskich opóźnieniach, obejmujących ograniczanie liczby żądań, uwierzytelnianie, limity, pomiar wykorzystania i migracje.
- Dobre wyczucie infrastruktury, w tym doświadczenie w profilowaniu, śledzeniu, planowaniu pojemności i zarządzaniu SLO.
- Umiejętność diagnozowania problemów z wydajnością i niezawodnością na poziomie aplikacji, środowiska uruchomieniowego i infrastruktury.
- Silne nastawienie na doświadczenie programistów.
- Gotowość do nauki nowych języków, frameworków i systemów oraz zainteresowanie inżynierią wnioskowania.
- Doskonałe umiejętności komunikacji pisemnej i współpracy, w tym jasne dokumentowanie projektów i skuteczna praca międzyzespołowa.
- Doświadczenie z silnikami lub frameworkami wnioskowania LLM, takimi jak vLLM, SGLang, TensorRT-LLM, TGI lub Dynamo, albo wkład w ich rozwój będzie dodatkowym atutem.
- Bardzo dobra znajomość Kubernetes, w tym operatorów i zasobów niestandardowych; znajomość service meshów lub bram API będzie dodatkowym atutem.
- Doświadczenie w rozproszonym planowaniu, autoskalowaniu lub orkiestracji usług będzie dodatkowym atutem.
- Doświadczenie w uruchamianiu obciążeń GPU na produkcji będzie dodatkowym atutem.
- Doświadczenie z infrastrukturą lub API dla programistów albo wkład w infrastrukturę open source lub systemy uczenia maszynowego będzie dodatkowym atutem.
- Znajomość narzędzi obserwowalności, systemów CI/CD lub automatyzacji wydań będzie dodatkowym atutem.
Benefity
- Konkurencyjne wynagrodzenie z istotnym udziałem w kapitale firmy.
- Dla pracowników w USA i osób na ich utrzymaniu pełne pokrycie ubezpieczenia medycznego, stomatologicznego i okulistycznego.
- Elastyczny płatny urlop, w tym ogólnofirmowa przerwa zimowa.
- Płatny urlop rodzicielski.
- Wsparcie leczenia niepłodności i budowania rodziny w formie dodatku Carrot.
- Dla pracowników w USA firmowy plan 401(k).
- Kontakt z różnorodnymi startupami ML, zapewniający szerokie możliwości nauki i nawiązywania kontaktów zawodowych.