LogoFresh Jobs Ahead
Baseten
Baseten
11 – 50 Töötajad
H1B viisa sponsorEttevõteSaaSTehisintellekt
Baseten pakub mudelite järeldustaristut ettevõtetele, kes juurutavad masinõppe- ja tehisintellektirakendusi. Selle platvorm on loodud kiireks ja skaleeritavaks mudelite teenindamiseks ning ühendab suure läbilaskevõimega järelduse, kiire juurutamise, automaatse skaleerimise, turvalise ettevõtetele mõeldud mudelite teenindamise ja avatud lähtekoodiga mudelite pakendamise toe. Baseten aitab inseneri- ja masinõppemeeskondadel hallata mudelitaristu operatiivseid vajadusi, et nad saaksid keskenduda valdkonnaspetsiifiliste mudelite arendamisele. Ettevõte tegutseb tehisintellekti, SaaS-i ja ettevõttetehnoloogia valdkonnas ning seal töötab 11–50 inimest.
LinkedIn
Töökohad ettevõttes

Inference'i jõudluse tarkvarainsener Basetenis (hübriidtöö)

Baseten otsib inference'i jõudluse inseneri, kes optimeeriks LLM-i käituskeskkondi, GPU-tuumasid ja mudelite teenindussüsteeme. Roll keskendub tootmisinferentsi kiiruse, riistvara kasutusastme ja kulutõhususe parandamisele.

USAmeerika ÜhendriigidCACaliforniaNYNew YorkWAWashington
180 000 $ – 360 000 $ / aasta
HübriidtööTäistööaegKesktaseSeeniorNõutav Keel: ingliseFull-stack-insenerTarkvarainsener
C++PythonPyTorch

Kirjeldus

  • Rakenda tootmises täiustatud inference'i meetodeid, nagu kvantimine, spekulatiivne dekodeerimine, KV-vahemälu taaskasutus, tükeldatud eeltäitmine, LoRA, juhitud genereerimine ning kohandatud ajastamine või marsruutimine.
  • Analüüsi kogu inference'i töötlusahelat, optimeerides tuumade töötluskulu, mälu paigutust, päringute ajastamist, eeltäitmise ja dekodeerimise eraldamist ning vahemäluteadlikku marsruutimist.
  • Suurenda GPU-tunni kohta töödeldavate tokenite arvu ja kasutusastet, tasakaalustades latentsust, läbilaskevõimet ja kulusid.
  • Rakenda uusi mudeliarhitektuure uutel riistvaraplatvormidel ja optimeeri neid.
  • Loo võrdlusteste eri mudelitüüpide, pakisuuruste, järjestikuste pikkuste ja riistvarakonfiguratsioonide jaoks.
  • Panusta avatud lähtekoodiga inference'i projektidesse, sealhulgas vLLM-i, SGLangi ja TensorRT-LLM-i.
  • Tööta mudeli-, infrastruktuuri- ja kliendisuhtluse tiimidega, et saavutada mõõdetavaid jõudlusparandusi.

Nõuded

  • Arvutiteaduse, inseneriteaduse, matemaatika või seotud valdkonna bakalaureuse-, magistri- või doktorikraad.
  • Töökogemus vähemalt ühe üldotstarbelise programmeerimiskeelega, sealhulgas Pythoni või C++-iga.
  • Praktilised teadmised LLM-i optimeerimismeetoditest, nagu kvantimine, spekulatiivne dekodeerimine ja pidev pakktöötlus.
  • Väga hea masinõppe teekide, eelkõige PyTorchi, TensorRT või TensorRT-LLM-i tundmine.
  • Tõendatud huvi suurte keelemudelite vastu ja praktiline kogemus nendega töötamisel.
  • Põhjalikud teadmised GPU-arhitektuurist.

Hüved

  • Konkurentsivõimeline tasupakett koos olulise osalusvõimalusega.
  • USA töötajatele ja nende ülalpeetavatele laieneb täielik tervise-, hambaravi- ja nägemiskindlustus.
  • Paindlik tasustatud puhkus ning kogu ettevõtte talvine puhkepaus.
  • Tasustatud vanemapuhkus.
  • Viljakuse ja pere loomise toetus Carroti stipendiumi kaudu.
  • USA töötajatele ettevõtte korraldatud 401(k) pensioniplaan.
  • Võimalus töötada mitmesuguste masinõppe idufirmadega ning saada ulatuslikke õpi- ja erialase võrgustumise võimalusi.

Seotud töökohad