LogoFresh Jobs Ahead
adaption
adaption
1 – 10 Ansatte
LogistikkMarkedsføringRådgivning
adaption utvikler adaptive AI-systemer og verktøy som er utformet for å tilpasse intelligens til individuelle brukere, språk, bransjer og spesialiserte bruksområder. Selskapets arbeid omfatter Adaptive Data, Adaptive Intelligence og Adaptive Interfaces – tilnærminger som hjelper modeller med å tilpasse seg kontinuerlig og gir mer responsive brukeropplevelser uten å være like avhengige av manuell prompting eller én enkelt monolittisk modell. Teknologien er relevant for organisasjoner som utforsker praktiske AI-anvendelser innen områder som rådgivning, logistikk og markedsføring.
LinkedIn
Jobber i bedriften

Inferensingeniør — Adaption (hybrid, Bay Area)

Optimaliser inferensinfrastrukturen for gjennomstrømming, kostnad og latenstid hos Adaption, et AI-selskap som utvikler adaptive intelligenssystemer. Forbedre modellkjøring på tvers av GPU-er, inferensmotorer og produksjonsarbeidslaster.

USUSACACaliforniaHybridHeltidMellomnivåSeniorPåkrevd Språk: engelskIngeniør
C++PythonRust

Beskrivelse

  • Ha hovedansvaret for kostnad og ytelse i hele inferensstakken.
  • Øk gjennomstrømmingen og reduser kostnad og halelatenstid gjennom håndtering av KV-cache, kontinuerlig batching, spekulativ dekoding og kvantisering.
  • Optimaliser arbeidslaster for forhåndsutfylling og dekoding med lang kontekst basert på reell produksjonstrafikk.
  • Juster rutingen mellom intern infrastruktur og eksterne leverandører etter kostnad, kapasitet og ytelse.
  • Bruk serveringsmotorer som vLLM, SGLang og TensorRT-LLM, og arbeid under rammeverksnivået når det er nødvendig.
  • Utvikle profilerings- og målesystemer for å lokalisere tids-, minne- og beregningsbruk.
  • Samarbeid tett med ingeniører som har ansvar for serveringsflåten.

Krav

  • Ha minst fem års erfaring med ML-systemer, inferensinfrastruktur eller ytelsesteknikk, med målbare forbedringer i kostnad eller latenstid.
  • Ha dyp kunnskap om modellkjøring, inkludert forhåndsutfylling og dekoding, minnebåndbredde, batching og samtidighet.
  • Ha produksjonserfaring med serveringsmotorer som vLLM, SGLang eller TensorRT-LLM.
  • Bruke Python trygt og være dyktig i C++, Rust eller et annet systemprogrammeringsspråk.
  • Forstå GPU-ytelse, inkludert CUDA, NCCL, blandet presisjon, minnelayout, kjerner eller kvantisering.
  • Være i stand til å arbeide fysisk i Bay Area i en hybridordning.

Fordeler

  • Kombiner samarbeid på stedet i Bay Area med et distribuert, globalt team og teamsamlinger på ulike steder.
  • Motta et årlig Adaption Passport-reisetilskudd for å utforske et land du ikke har besøkt tidligere.
  • Få et ukentlig tilskudd til takeaway-måltider eller levering av dagligvarer.
  • Få tilgang til omfattende helseforsikring og raus betalt permisjon.

Relaterte jobber