Baseten
Baseten
Baseten leverer infrastruktur til modelinferens for virksomheder, der implementerer maskinlærings- og AI-applikationer. Platformen er udviklet til hurtig og skalerbar betjening og kombinerer inferens med høj gennemstrømning, hurtig implementering, autoskalering, sikker modelbetjening til virksomheder samt understøttelse af pakning af open source-modeller. Baseten hjælper udviklings- og maskinlæringsteams med at håndtere de operationelle krav til modelinfrastruktur, så de kan fokusere på at udvikle domænespecifikke modeller. Virksomheden arbejder inden for kunstig intelligens, SaaS og virksomhedsteknologi og har et team på 11–50 medarbejdere.

Softwareingeniør inden for inferensydelse hos Baseten (hybrid)

Baseten søger en ingeniør inden for inferensydelse til optimering af LLM-runtime-miljøer, GPU-kerner og systemer til modelservering. Rollen fokuserer på at forbedre inferenshastighed i produktionen, hardwareudnyttelse og omkostningseffektivitet.

Beskrivelse

  • Produktionssæt avancerede inferensmetoder som kvantisering, spekulativ dekodning, genbrug af KV-cache, opdelt prefill, LoRA, styret generering samt brugerdefineret planlægning eller routing.
  • Analysér hele inferenspipelinen og optimér kernel-overhead, hukommelsesplacering, planlægning af forespørgsler, adskillelse af prefill og dekodning samt cachebevidst routing.
  • Øg antallet af tokens pr. GPU-time og udnyttelsesgraden, samtidig med at latenstid, gennemløb og omkostninger afbalanceres.
  • Implementér og optimér nye modelarkitekturer på nye hardwareplatforme.
  • Udarbejd benchmarks på tværs af modeltyper, batchstørrelser, sekvenslængder og hardwareopsætninger.
  • Indsend forbedringer til open source-inferensprojekter, herunder vLLM, SGLang og TensorRT-LLM.
  • Samarbejd med model-, infrastruktur- og kundevendte teams om at levere målbare ydelsesforbedringer.

Krav

  • Eksamen på bachelor-, kandidat- eller ph.d.-niveau inden for datalogi, ingeniørvidenskab, matematik eller et beslægtet område.
  • Erhvervserfaring med mindst ét alment programmeringssprog, herunder Python eller C++.
  • Praktisk kendskab til optimeringsmetoder for LLM'er som kvantisering, spekulativ dekodning og kontinuerlig batching.
  • Stærke kompetencer inden for maskinlæringsbiblioteker, især PyTorch, TensorRT eller TensorRT-LLM.
  • Dokumenteret interesse for og praktisk erfaring med store sprogmodeller.
  • Grundigt kendskab til GPU-arkitektur.

Fordele

  • Konkurrencedygtig lønpakke med betydelig aktiedeltagelse.
  • For ansatte i USA omfatter en fuld sundheds-, tand- og synsforsikring de ansatte og deres pårørende.
  • Fleksibel betalt frihed samt en fælles vinterpause for hele virksomheden.
  • Betalt forældreorlov.
  • Støtte til fertilitet og familiedannelse gennem et Carrot-tilskud.
  • For ansatte i USA tilbydes en 401(k)-ordning faciliteret af virksomheden.
  • Mulighed for at arbejde med en række startups inden for maskinlæring og få betydelige muligheder for læring og professionelt netværk.

Relaterede job

NinjaOne

Account Executive, mellemstore virksomheder

NinjaOne
1.001 – 5.000 Medarbejdere
Sponsor for H1B-visumB2BCybersikkerhedSaaS

Varetage hele salgsprocessen for NinjaOnes platform til IT-drift fra behovsafdækning og produktdemonstrationer til forhandling og afslutning. Opbyg en salgspipeline, lav prognoser i Salesforce, og nå de månedlige salgsmål for mellemstore og store virksomhedskunder i Austin.

Åbn
NinjaOne

Account executive for mellemstore virksomheder, SaaS-salg

NinjaOne
1.001 – 5.000 Medarbejdere
Sponsor for H1B-visumB2BCybersikkerhedSaaS

Håndtér varme SaaS-salgsmuligheder hos mellemstore og store virksomheder for NinjaOnes platform til IT-drift, fra afdækning og demonstrationer til forhandling og afslutning. Stillingen kan varetages på afstand i det nordlige Californien eller som hybridarbejde i Austin.

Åbn
NinjaOne

Account Executive for mellemstore virksomheder, det sydøstlige USA

NinjaOne
1.001 – 5.000 Medarbejdere
Sponsor for H1B-visumB2BCybersikkerhedSaaS

Skab SaaS-salg til mellemstore virksomheder og enterprise-kunder for NinjaOnes samlede platform til IT-drift, fra behovsafdækning og demoer til forhandling og afslutning. Tag ansvar for salgspipeline, Salesforce-prognoser og kvoteresultater i det sydøstlige territorium.

Åbn
Generation

Senior ansvarlig for forretningsudvikling, erhvervsuddannelser og den offentlige sektor

Generation

Opbyg partnerskaber med erhvervsuddannelser og sikr offentlig finansiering til Generation, en velgørende organisation, der hjælper mennesker med barrierer på arbejdsmarkedet ind i job. Rollen kombinerer partnerskabsudvikling, tilbudsskrivning og styring af finansieringspipeline.

Åbn