LogoFresh Jobs Ahead
Baseten
Baseten
11 – 50 Pracownicy
Sponsor wizy H1BPrzedsiębiorstwoSaaSSztuczna inteligencja
Baseten zapewnia infrastrukturę do wnioskowania modeli dla firm wdrażających aplikacje oparte na uczeniu maszynowym i sztucznej inteligencji. Platforma została zaprojektowana z myślą o szybkim i skalowalnym udostępnianiu modeli, łącząc wysoką przepustowość wnioskowania, szybkie wdrażanie, automatyczne skalowanie, bezpieczne udostępnianie modeli klasy korporacyjnej oraz obsługę pakowania modeli open source. Baseten pomaga zespołom inżynieryjnym i zespołom zajmującym się uczeniem maszynowym zarządzać operacyjnymi wymaganiami infrastruktury modeli, aby mogły koncentrować się na tworzeniu modeli dostosowanych do konkretnych dziedzin. Firma działa w obszarach sztucznej inteligencji, SaaS i technologii dla przedsiębiorstw, a jej zespół liczy od 11 do 50 pracowników.
LinkedIn
Oferty pracy firmy

Menedżer inżynierii wydajności wnioskowania GPU w Baseten

Pokieruj inżynierią wydajności wnioskowania GPU w Baseten, firmie tworzącej infrastrukturę AI. Rozwijaj optymalizację środowiska uruchomieniowego, efektywność modeli i wyspecjalizowany zespół techniczny.

USStany ZjednoczoneCAKaliforniaNYNowy Jork
240 000 $ – 270 000 $ / rok
HybrydowoPełny etatPoziom średniSeniorWymagany Język: angielskiMenedżer ds. inżynierii
PyTorch

Opis

  • Zarządzać, wspierać rozwój i rozwijać inżynierów zajmujących się wydajnością wnioskowania poprzez regularne spotkania indywidualne, informacje zwrotne, planowanie kariery i oceny wyników pracy
  • Rekrutować inżynierów GPU i wnioskowania, jednocześnie budując kulturę współpracy w zespole
  • Odpowiadać za mapę drogową wydajności środowiska uruchomieniowego i jej realizację
  • Recenzować projekty techniczne, kierować profilowaniem i optymalizacją oraz pomagać inżynierom oceniać wykorzystanie czasu i pamięci
  • Wdrażać produkcyjnie kwantyzację, dekodowanie spekulatywne, ponowne wykorzystanie pamięci podręcznej KV, porcjowane wstępne wypełnianie i niestandardowe planowanie
  • Przekładać wzrost wydajności na mierzalne wyniki w zakresie liczby tokenów na godzinę GPU, wykorzystania zasobów, opóźnień i kosztów
  • Wprowadzać nowe architektury modeli na najnowszy sprzęt i dostrajać ich wydajność
  • Współpracować z zespołami infrastruktury, platformy wnioskowania, jąder, API modeli i obsługi klienta, aby ustalać priorytety, koordynować wdrożenia i dostarczać usprawnienia
  • Ustanawiać standardy inżynieryjne dotyczące jakości, benchmarków, doskonałości operacyjnej i reagowania na incydenty
  • Rozwijać optymalizację agentowego wnioskowania, jądra agentowe, trenowanie modeli z dekodowaniem spekulatywnym oraz stos wnioskowania Baseten

Wymagania

  • Wykształcenie wyższe — licencjackie, magisterskie lub doktorskie — w dziedzinie informatyki, inżynierii, matematyki lub pokrewnej dyscyplinie
  • Doświadczenie menedżerskie obejmujące rekrutację inżynierów, mentoring, przekazywanie informacji zwrotnych i oceny wyników pracy
  • Doświadczenie w kierowaniu zespołami optymalizacji GPU lub ścisłej współpracy z nimi przy trenowaniu, wnioskowaniu lub systemach rekomendacyjnych
  • Głęboka wiedza techniczna na temat obciążeń GPU, architektury i kompromisów związanych z wydajnością
  • Znajomość bibliotek uczenia maszynowego, w tym PyTorch, TensorRT lub TensorRT-LLM
  • Udokumentowana umiejętność tworzenia map drogowych i realizowania złożonych projektów technicznych wraz z zespołem
  • Bardzo dobre umiejętności komunikacji pisemnej i ustnej, potrzebne do uzgadniania działań interesariuszy między zespołami
  • Znajomość silników wnioskowania, takich jak vLLM, SGLang lub TensorRT-LLM
  • Doświadczenie w stosowaniu metod optymalizacji LLM, takich jak kwantyzacja, dekodowanie spekulatywne i ciągłe grupowanie
  • Doświadczenie w tworzeniu jąder GPU lub pracy z nimi przy użyciu CUDA, Triton lub CUTLASS
  • Doświadczenie w skalowaniu zespołu inżynieryjnego podczas szybkiego rozwoju startupu
  • Praktyczne doświadczenie na stanowisku inżyniera wydajności lub inżyniera systemowego przed przejściem do zarządzania

Benefity

  • Konkurencyjny pakiet wynagrodzenia obejmujący istotny udział w kapitale firmy
  • Dla pracowników w USA pełne ubezpieczenie medyczne, stomatologiczne i okulistyczne dla pracowników oraz osób na ich utrzymaniu
  • Elastyczny płatny czas wolny, w tym ogólnofirmowa przerwa zimowa
  • Płatny urlop rodzicielski
  • Wsparcie w zakresie płodności i budowania rodziny za pośrednictwem Carrot
  • Dla pracowników w USA firmowy plan 401(k)
  • Możliwości współpracy z różnymi startupami z branży uczenia maszynowego i nawiązywania kontaktów w branży

Powiązane oferty pracy