adaption tworzy adaptacyjne systemy sztucznej inteligencji i narzędzia zaprojektowane tak, aby dostosowywać inteligencję do indywidualnych użytkowników, języków, branż i wyspecjalizowanych, nietypowych przypadków użycia. Firma rozwija rozwiązania w obszarach Adaptive Data, Adaptive Intelligence i Adaptive Interfaces — podejścia te pomagają modelom nieustannie się dostosowywać oraz wspierać bardziej responsywne doświadczenia użytkowników bez tak silnego uzależnienia od ręcznego formułowania promptów lub jednego monolitycznego modelu. Technologie firmy mogą być przydatne dla organizacji analizujących praktyczne zastosowania AI w takich obszarach jak doradztwo, logistyka i marketing.
Inżynier ds. inferencji — Adaption (praca hybrydowa, rejon Zatoki San Francisco)
Optymalizuj infrastrukturę inferencji w Adaption, firmie AI rozwijającej systemy inteligencji adaptacyjnej, zwiększając przepustowość oraz ograniczając koszty i opóźnienia. Ulepszaj obsługę modeli na GPU, silnikach inferencji i w produkcyjnych obciążeniach roboczych.
Opis
- Odpowiadaj za koszty i wydajność stosu inferencji.
- Zwiększaj przepustowość oraz ograniczaj koszty i opóźnienia w ogonie rozkładu dzięki zarządzaniu pamięcią podręczną KV, ciągłemu grupowaniu, dekodowaniu spekulatywnemu i kwantyzacji.
- Optymalizuj zadania wstępnego wypełniania i dekodowania długich kontekstów na podstawie rzeczywistego ruchu produkcyjnego.
- Dostosowuj routing między wewnętrzną infrastrukturą a zewnętrznymi dostawcami, uwzględniając koszty, dostępną przepustowość i wydajność.
- Korzystaj z silników obsługi modeli, takich jak vLLM, SGLang i TensorRT-LLM, w razie potrzeby pracując poniżej poziomu frameworka.
- Twórz systemy profilowania i pomiarów pozwalające określać zużycie czasu, pamięci i mocy obliczeniowej.
- Ściśle współpracuj z inżynierami odpowiedzialnymi za flotę serwerów obsługujących modele.
Wymagania
- Mieć co najmniej pięć lat doświadczenia w pracy z systemami ML, infrastrukturą inferencji lub inżynierią wydajności, potwierdzone mierzalną poprawą kosztów lub opóźnień.
- Wykazywać się dogłębną znajomością obsługi modeli, w tym wstępnego wypełniania i dekodowania, przepustowości pamięci, grupowania oraz współbieżności.
- Mieć produkcyjne doświadczenie z silnikami obsługi modeli, takimi jak vLLM, SGLang lub TensorRT-LLM.
- Swobodnie posługiwać się Pythonem oraz znać C++, Rust lub inny język programowania systemowego.
- Rozumieć zagadnienia wydajności GPU, w tym CUDA, NCCL, obliczenia o mieszanej precyzji, układ pamięci, kernele lub kwantyzację.
- Mieć możliwość pracy stacjonarnej w rejonie Zatoki San Francisco w modelu hybrydowym.
Benefity
- Łączyć współpracę stacjonarną w rejonie Zatoki San Francisco z rozproszonym zespołem o globalnym profilu oraz wyjazdami zespołowymi.
- Otrzymywać coroczny dodatek na podróże Adaption Passport na zwiedzanie kraju, którego wcześniej nie odwiedzono.
- Otrzymywać cotygodniowy dodatek na posiłki na wynos lub dostawę zakupów spożywczych.
- Korzystać z kompleksowego ubezpieczenia medycznego i hojnego płatnego urlopu.