LogoFresh Jobs Ahead
Baseten
Baseten
11 – 50 Medarbejdere
Sponsor for H1B-visumKunstig intelligensSaaSVirksomhed
Baseten leverer infrastruktur til modelinferens for virksomheder, der implementerer maskinlærings- og AI-applikationer. Platformen er udviklet til hurtig og skalerbar betjening og kombinerer inferens med høj gennemstrømning, hurtig implementering, autoskalering, sikker modelbetjening til virksomheder samt understøttelse af pakning af open source-modeller. Baseten hjælper udviklings- og maskinlæringsteams med at håndtere de operationelle krav til modelinfrastruktur, så de kan fokusere på at udvikle domænespecifikke modeller. Virksomheden arbejder inden for kunstig intelligens, SaaS og virksomhedsteknologi og har et team på 11–50 medarbejdere.
LinkedIn
Job i virksomheden

Softwareingeniør, LLM-inferensplatform – Baseten hybrid

Byg Basetens distribuerede LLM-inferensplatform til AI-virksomheder. Arbejd med Kubernetes-orkestrering, model-API'er, routing, autoskalering og observabilitet i produktionen.

USUSACACalifornienNYNew YorkWAWashington
180.000 $ – 360.000 $ / år
HybridFuldtidMellemniveauSeniorPåkrævet Sprog: engelskFull-stack-ingeniørSoftwareingeniør
Distribuerede systemerKubernetes

Beskrivelse

  • Byg infrastruktur og orkestrering til storskala distribueret LLM-inferens, herunder routing, autoskalering, planlægning og håndtering af runtime-miljøer.
  • Udvikl og drift model-API'er med understøttelse af strukturerede output, værktøjs- og funktionskald samt multimodal serving.
  • Implementer API-versionering, validering af forespørgsler, måling af forbrug, kvoter og autentificering.
  • Skab instrumentering til målinger, traces og logs samt gentagelige benchmarks for hastighed, pålidelighed og kvalitet.
  • Definer stærke praksisser for test, releaseautomatisering og operationel ekspertise.
  • Diagnosticer og styrk produktionssystemer på tværs af Kubernetes, distribuerede runtime-miljøer, netværk og GPU-arbejdsbelastninger.
  • Samarbejd med ingeniører inden for inferensydelse og partnerteams om at levere kundeorienterede optimeringer.
  • Led projekter fra arkitektur og deployment til overvågning og iteration baseret på kundefeedback.
  • Afvej systemydelse, pålidelighed, operationel enkelhed og udvikleroplevelse.

Krav

  • Bachelor-, kandidat- eller ph.d.-grad i datalogi, ingeniørvidenskab eller et beslægtet område eller tilsvarende praktisk erfaring.
  • Mindst tre års erfaring med at bygge og drive distribuerede systemer, backendinfrastruktur eller API'er i stor skala, hvor pålidelighed, latenstid og skala er afgørende.
  • Dokumenteret erfaring med ejerskab af backendtjenester med lav latenstid og høj pålidelighed, herunder ratebegrænsning, autentificering, kvoter, måling og migreringer.
  • Stærk infrastrukturforståelse, herunder erfaring med profilering, tracing, kapacitetsplanlægning og håndtering af SLO'er.
  • Evne til at diagnosticere problemer med ydeevne og pålidelighed på tværs af applikations-, runtime- og infrastrukturlag.
  • Stærkt fokus på udvikleroplevelsen.
  • Lyst til at lære nye sprog, frameworks og systemer samt interesse for inferensudvikling.
  • Fremragende skriftlige kommunikations- og samarbejdsevner, herunder tydelig designdokumentation og effektivt tværfunktionelt arbejde.
  • Erfaring med eller bidrag til LLM-inferensmotorer eller frameworks som vLLM, SGLang, TensorRT-LLM, TGI eller Dynamo er en fordel.
  • Dyb Kubernetes-erfaring, herunder operators og custom resources; kendskab til service meshes eller API-gateways er en fordel.
  • Erfaring med distribueret planlægning, autoskalering eller serviceorkestrering er en fordel.
  • Erfaring med at køre GPU-arbejdsbelastninger i produktion er en fordel.
  • Baggrund inden for udviklerorienteret infrastruktur eller API'er eller bidrag til open source-infrastruktur eller maskinlæringssystemer er en fordel.
  • Kendskab til observabilitetsværktøjer, CI/CD-systemer eller releaseautomatisering er en fordel.

Fordele

  • Konkurrencedygtig aflønning med meningsfuld aktieandel.
  • For medarbejdere i USA og deres pårørende: fuld dækning af sundheds-, tand- og synsforsikring.
  • Fleksibel betalt frihed, herunder en fælles vinterferie for hele virksomheden.
  • Betalt forældreorlov.
  • Støtte til fertilitet og familiedannelse gennem et Carrot-tilskud.
  • For medarbejdere i USA: en virksomhedsfaciliteret 401(k)-ordning.
  • Indblik i en række ML-startups, hvilket giver betydelige muligheder for læring og professionelt netværk.

Relaterede job

SPERTON - Where Great People Meet

Sælger af elevatorer og parkeringssystemer

SPERTON - Where Great People Meet
51 – 200 Medarbejdere
INIndienHybridFuldtidMellemniveauSeniorPåkrævet Sprog: engelskSalg

Skab salg af elevatorer og parkeringssystemer i Mumbais vestlige region. Opbyg relationer til kunder og forhandlere, og håndter aftaler fra den første forespørgsel til projektets gennemførelse.

Åbn