LogoFresh Jobs Ahead
Baseten
Baseten
11 – 50 Ansatte
Sponsor for H1B-visumForetakKunstig intelligensSaaS
Baseten leverer infrastruktur for modellinferens til selskaper som distribuerer maskinlærings- og AI-applikasjoner. Plattformen er utviklet for rask og skalerbar kjøring og kombinerer inferens med høy gjennomstrømning, rask utrulling, autoskalering, sikker modellkjøring for virksomheter samt støtte for pakking av modeller med åpen kildekode. Baseten hjelper utviklings- og maskinlæringsteam med å håndtere de operative kravene til modellinfrastruktur, slik at de kan fokusere på å utvikle domenespesifikke modeller. Selskapet opererer innen kunstig intelligens, SaaS og virksomhetsteknologi og har et team på 11–50 medarbeidere.
LinkedIn
Jobber i bedriften

Programvareingeniør, LLM-inferensplattform – Baseten hybrid

Bygg Basetens distribuerte LLM-inferensplattform for AI-selskaper. Jobb med Kubernetes-orkestrering, modell-API-er, ruting, autoskalering og observabilitet i produksjon.

USUSACACaliforniaNYNew YorkWAWashington
180 000 $ – 360 000 $ / år
HybridHeltidMellomnivåSeniorPåkrevd Språk: engelskFullstackingeniørProgramvareingeniør
Distribuerte systemerKubernetes

Beskrivelse

  • Bygg infrastruktur og orkestrering for storskala distribuert LLM-inferens, inkludert ruting, autoskalering, planlegging og håndtering av kjøremiljøer.
  • Utvikle og drifte modell-API-er med støtte for strukturerte utdata, verktøy- og funksjonskall samt multimodal betjening.
  • Implementer API-versjonering, validering av forespørsler, bruksmåling, kvoter og autentisering.
  • Lag instrumentering for måledata, spor og logger, sammen med repeterbare benchmarker for hastighet, pålitelighet og kvalitet.
  • Definer gode praksiser for testing, releaseautomatisering og operasjonell kvalitet.
  • Diagnostiser og styrk produksjonssystemer på tvers av Kubernetes, distribuerte kjøremiljøer, nettverk og GPU-arbeidsbelastninger.
  • Samarbeid med ingeniører innen inferensytelse og partnerteam for å levere kundeorienterte optimaliseringer.
  • Led prosjekter fra arkitektur og utrulling til overvåking og iterasjon basert på tilbakemeldinger fra kunder.
  • Balanser systemytelse, pålitelighet, operasjonell enkelhet og utvikleropplevelse.

Krav

  • Bachelor-, master- eller doktorgrad i informatikk, ingeniørfag eller et beslektet fagområde, eller tilsvarende praktisk erfaring.
  • Minst tre års erfaring med å bygge og drifte distribuerte systemer, backendinfrastruktur eller API-er i stor skala, der pålitelighet, latenstid og skala er avgjørende.
  • Dokumentert erfaring med eierskap til backendtjenester med lav latenstid og høy pålitelighet, inkludert hastighetsbegrensning, autentisering, kvoter, måling og migreringer.
  • God infrastrukturforståelse, inkludert erfaring med profilering, sporing, kapasitetsplanlegging og håndtering av SLO-er.
  • Evne til å diagnostisere problemer med ytelse og pålitelighet på tvers av applikasjons-, kjøremiljø- og infrastrukturlag.
  • Et sterkt fokus på utvikleropplevelsen.
  • Vilje til å lære nye språk, rammeverk og systemer, samt interesse for inferensutvikling.
  • Svært gode skriftlige kommunikasjons- og samarbeidsevner, inkludert tydelig designdokumentasjon og effektivt tverrfunksjonelt arbeid.
  • Erfaring med eller bidrag til LLM-inferensmotorer eller rammeverk som vLLM, SGLang, TensorRT-LLM, TGI eller Dynamo er en fordel.
  • Dyp Kubernetes-erfaring, inkludert operatorer og egendefinerte ressurser; kjennskap til tjenestenett eller API-gatewayer er en fordel.
  • Erfaring med distribuert planlegging, autoskalering eller tjenesteorkestrering er en fordel.
  • Erfaring med å kjøre GPU-arbeidsbelastninger i produksjon er en fordel.
  • Bakgrunn innen utviklerrettet infrastruktur eller API-er, eller bidrag til infrastruktur eller maskinlæringssystemer med åpen kildekode, er en fordel.
  • Kjennskap til observabilitetsverktøy, CI/CD-systemer eller releaseautomatisering er en fordel.

Fordeler

  • Konkurransedyktig lønn med en meningsfull eierandel.
  • For ansatte i USA og deres forsørgede: full dekning av helse-, tann- og synsforsikring.
  • Fleksibel betalt fritid, inkludert en felles vinterpause for hele selskapet.
  • Betalt foreldrepermisjon.
  • Støtte til fertilitet og familiedannelse gjennom et Carrot-stipend.
  • For ansatte i USA: en firmatilrettelagt 401(k)-ordning.
  • Innsikt i en rekke ML-startups, noe som gir betydelige muligheter for læring og profesjonelt nettverk.

Relaterte jobber