Baseten tillhandahåller infrastruktur för modellinferens åt företag som distribuerar maskininlärnings- och AI-applikationer. Plattformen är byggd för snabb och skalbar drift och kombinerar inferens med hög genomströmning, snabb driftsättning, autoskalning, säker modellservering för företag samt stöd för paketering av modeller med öppen källkod. Baseten hjälper teknik- och maskininlärningsteam att hantera de operativa kraven på modellinfrastruktur, så att de kan fokusera på att utveckla domänspecifika modeller. Företaget verkar inom artificiell intelligens, SaaS och företagsteknik och har ett team på 11–50 medarbetare.
Mjukvaruingenjör inom inferensprestanda på Baseten (hybrid)
Baseten söker en ingenjör inom inferensprestanda för att optimera LLM-körmiljöer, GPU-kärnor och system för modellservering. Rollen fokuserar på att förbättra inferenshastighet i produktion, maskinvaruutnyttjande och kostnadseffektivitet.
Beskrivning
- Produktionssätt avancerade inferensmetoder som kvantisering, spekulativ avkodning, återanvändning av KV-cache, blockvis förfyllning, LoRA, styrd generering samt anpassad schemaläggning eller routing.
- Analysera hela inferenspipelinen och optimera kärnöverlagring, minnesplacering, schemaläggning av förfrågningar, separering av förfyllning och avkodning samt cachemedveten routing.
- Öka antalet token per GPU-timme och utnyttjandegraden samtidigt som svarstid, genomströmning och kostnad balanseras.
- Driftsätt och optimera nya modellarkitekturer på nya maskinvaruplattformar.
- Skapa benchmarktester som omfattar olika modelltyper, batchstorlekar, sekvenslängder och maskinvarukonfigurationer.
- Bidra med förbättringar till projekt med öppen källkod för inferens, inklusive vLLM, SGLang och TensorRT-LLM.
- Samarbeta med team inom modeller, infrastruktur och kundkontakt för att leverera mätbara prestandaförbättringar.
Krav
- Examen på kandidat-, master- eller doktorandnivå inom datavetenskap, teknik, matematik eller ett närliggande område.
- Yrkeserfarenhet av minst ett allmänt programmeringsspråk, däribland Python eller C++.
- Praktisk kunskap om optimeringsmetoder för LLM:er, såsom kvantisering, spekulativ avkodning och kontinuerlig batchbearbetning.
- Mycket goda kunskaper i maskininlärningsbibliotek, särskilt PyTorch, TensorRT eller TensorRT-LLM.
- Dokumenterat intresse för och praktisk erfarenhet av stora språkmodeller.
- Djup förståelse för GPU-arkitektur.
Förmåner
- Konkurrenskraftigt ersättningspaket med betydande aktieandel.
- För anställda i USA omfattar en heltäckande sjuk-, tandvårds- och synförsäkring de anställda och deras anhöriga.
- Flexibel betald ledighet samt ett företagsgemensamt vinteruppehåll.
- Betald föräldraledighet.
- Stöd för fertilitet och familjebildning genom ett Carrot-bidrag.
- För anställda i USA erbjuds en 401(k)-plan som administreras av företaget.
- Möjlighet att arbeta med ett brett urval av maskininlärningsstartupföretag och få betydande möjligheter till lärande och professionellt nätverkande.