Baseten
Baseten
Baseten tarjoaa mallipäätelmäinfrastruktuuria yrityksille, jotka ottavat käyttöön koneoppimis- ja tekoälysovelluksia. Sen alusta on suunniteltu nopeaan ja skaalautuvaan mallien palvelemiseen, ja se yhdistää suuren läpimenon päätelmät, nopean käyttöönoton, automaattisen skaalauksen, suojatun yritystason mallien palvelemisen sekä tuen avoimen lähdekoodin mallipaketointiin. Baseten auttaa suunnittelu- ja koneoppimistiimejä hallitsemaan malliinfrastruktuurin operatiivisia vaatimuksia, jotta ne voivat keskittyä toimialakohtaisten mallien kehittämiseen. Yritys toimii tekoälyn, SaaS-palveluiden ja yritysteknologian aloilla, ja sen palveluksessa on 11–50 työntekijää.

Inference Performance Software Engineer Basetenilla (hybridityö)

Baseten etsii inferenssin suorituskykyyn keskittyvää insinööriä optimoimaan LLM-ajoympäristöjä, GPU-ytimiä ja mallien tarjoilujärjestelmiä. Tehtävässä parannetaan tuotantoinferenssin nopeutta, laitteiston käyttöastetta ja kustannustehokkuutta.

Kuvaus

  • Tuotannollista edistyneitä inferenssimenetelmiä, kuten kvantisointia, spekulatiivista dekoodausta, KV-välimuistin uudelleenkäyttöä, lohkotettua esitäyttöä, LoRA:a, ohjattua generointia sekä mukautettua ajoitusta tai reititystä.
  • Analysoi koko inferenssiputki ja optimoi ytimien aiheuttamaa kuormaa, muistin sijoittelua, pyyntöjen ajoitusta, esitäytön ja dekoodauksen erottelua sekä välimuistitietoista reititystä.
  • Kasvata GPU-tuntia kohden tuotettujen tokenien määrää ja käyttöastetta tasapainottaen viivettä, läpimenoa ja kustannuksia.
  • Ota käyttöön uusia malliar||||itehtuureja uusilla laitteistoalustoilla ja optimoi niitä.
  • Luo vertailumittareita, jotka kattavat eri mallityypit, eräkoot, sekvenssipituudet ja laitteistokokoonpanot.
  • Tee parannuksia avoimen lähdekoodin inferenssiprojekteihin, kuten vLLM:ään, SGLangiin ja TensorRT-LLM:ään.
  • Työskentele malli-, infrastruktuuri- ja asiakasrajapintatiimien kanssa mitattavien suorituskykyparannusten saavuttamiseksi.

Vaatimukset

  • Tietojenkäsittelytieteen, tekniikan, matematiikan tai vastaavan alan kandidaatin-, maisterin- tai tohtorintutkinto.
  • Ammatillista kokemusta vähintään yhdestä yleiskäyttöisestä ohjelmointikielestä, kuten Pythonista tai C++:sta.
  • Käytännön tuntemusta LLM-optimointimenetelmistä, kuten kvantisoinnista, spekulatiivisesta dekoodauksesta ja jatkuvasta eräkäsittelystä.
  • Vahva koneoppimiskirjastojen, erityisesti PyTorchin, TensorRT:n tai TensorRT-LLM:n, osaaminen.
  • Osoitettua kiinnostusta suuriin kielimalleihin ja käytännön kokemusta niiden parissa työskentelystä.
  • Perusteellinen GPU-arkkitehtuurin tuntemus.

Edut

  • Kilpailukykyinen palkkauspaketti ja merkittävä osakeomistusmahdollisuus.
  • Yhdysvalloissa työskenteleville työntekijöille ja heidän huollettavilleen tarjotaan kattava sairaus-, hammas- ja näkövakuutus.
  • Joustava palkallinen vapaa sekä koko yrityksen yhteinen talvitauko.
  • Palkallinen vanhempainvapaa.
  • Hedelmällisyyteen ja perheen perustamiseen liittyvää tukea Carrot-stipendin kautta.
  • Yhdysvalloissa työskenteleville työntekijöille yrityksen järjestämä 401(k)-eläkesäästöohjelma.
  • Mahdollisuus työskennellä useiden koneoppimiseen keskittyvien startup-yritysten kanssa ja kartuttaa merkittävästi osaamista sekä ammatillisia verkostoja.

Samankaltaiset työpaikat

Mercor

Tekoälyn turvallisuuden red team -asiantuntija

Mercor
51 – 200 Työntekijät

Mercor etsii tekoälyn turvallisuuden red team -asiantuntijaa testaamaan edistyneitä tekoälyjärjestelmiä adversaarisilla kehotteilla. Tehtävässä dokumentoit riskejä ja työskentelet tutkijoiden kanssa mallien turvallisuuden ja linjakkuuden vahvistamiseksi.

Avaa
Fanatics

Android-kehityksen pääinsinööri

Fanatics

Johda Android-kehitystä Fanaticsin maailmanlaajuisella urheilualustalla ja suunnittele skaalautuvaa Kotlin- ja Jetpack Compose -arkkitehtuuria. Ohjaa teknisiä standardeja, häiriötilanteisiin reagointia ja insinöörien mentorointia.

Avaa
Terumo Medical Corporation

Aluepäällikkö, interventionaaliset järjestelmät – Philadelphia

Terumo Medical Corporation

Johda Terumo Interventional Systems -tuotteiden myyntiä Philadelphian alueen sairaaloille ja avohoitoyksiköille. Kehitä asiakkuuksia, tue toimenpiteitä, kouluta terveydenhuollon ammattilaisia ja saavuta alueen myyntitavoitteet.

Avaa