LogoFresh Jobs Ahead
Baseten
Baseten
11 – 50 Darbuotojai
H1B vizos rėmėjasDirbtinis intelektasĮmonėSaaS
Baseten teikia modelių inferencijos infrastruktūrą įmonėms, diegiančioms mašininio mokymosi ir dirbtinio intelekto programas. Jos platforma sukurta sparčiam ir keičiamo masto modelių aptarnavimui, apimančiam didelio pralaidumo inferenciją, greitą diegimą, automatinį mastelio keitimą, saugų įmonių modelių aptarnavimą ir atvirojo kodo modelių pakavimo palaikymą. Baseten padeda inžinerijos ir mašininio mokymosi komandoms valdyti modelių infrastruktūros operacinius poreikius, kad jos galėtų sutelkti dėmesį į konkrečiai sričiai skirtų modelių kūrimą. Įmonė veikia dirbtinio intelekto, SaaS ir įmonių technologijų srityse, joje dirba 11–50 darbuotojų.
LinkedIn
Darbai įmonėje

Inference našumo programinės įrangos inžinierius „Baseten“ (hibridinis darbas)

„Baseten“ ieško inference našumo inžinieriaus, kuris optimizuotų LLM vykdymo aplinkas, GPU branduolius ir modelių teikimo sistemas. Šiose pareigose daugiausia dėmesio skiriama gamybinio inference greičiui, aparatinės įrangos panaudojimui ir sąnaudų efektyvumui gerinti.

USJungtinės ValstijosCAKalifornijaNYNiujorkasWAVašingtonas
180 000 $ – 360 000 $ / metai
HibridinisVisas etatasVidutinis lygisVyresnysis specialistasPrivaloma Kalba: anglųFull-stack inžinieriusPrograminės įrangos inžinierius
C++PythonPyTorch

Aprašymas

  • Perkelk į gamybą pažangius inference metodus, tokius kaip kvantavimas, spekuliatyvusis dekodavimas, KV spartinančiosios atminties pakartotinis naudojimas, dalinis išankstinis užpildymas, LoRA, valdomas generavimas ir pasirinktinis planavimas ar maršrutizavimas.
  • Analizuok visą inference procesą, optimizuodamas branduolių skaičiavimo sąnaudas, atminties išdėstymą, užklausų planavimą, išankstinio užpildymo ir dekodavimo atskyrimą bei į spartinančiąją atmintį atsižvelgiantį maršrutizavimą.
  • Didink per GPU valandą apdorojamų tokenų skaičių ir panaudojimą, derindamas delsą, pralaidumą ir sąnaudas.
  • Diek naujas modelių architektūras naujose aparatinės įrangos platformose ir jas optimizuok.
  • Kurk etaloninius testus, apimančius skirtingus modelių tipus, paketų dydžius, sekų ilgius ir aparatinės įrangos konfigūracijas.
  • Teik patobulinimus atvirojo kodo inference projektams, įskaitant vLLM, SGLang ir TensorRT-LLM.
  • Bendradarbiauk su modelių, infrastruktūros ir su klientais dirbančiomis komandomis, kad pasiektum išmatuojamą našumo pagerėjimą.

Reikalavimai

  • Informatikos, inžinerijos, matematikos ar susijusios srities bakalauro, magistro arba doktorantūros laipsnis.
  • Profesinė patirtis dirbant bent su viena bendrosios paskirties programavimo kalba, įskaitant Python arba C++.
  • Praktinės žinios apie LLM optimizavimo metodus, tokius kaip kvantavimas, spekuliatyvusis dekodavimas ir nuolatinis paketinis apdorojimas.
  • Puikus mašininio mokymosi bibliotekų, ypač PyTorch, TensorRT arba TensorRT-LLM, išmanymas.
  • Įrodytas susidomėjimas dideliaisiais kalbos modeliais ir praktinė darbo su jais patirtis.
  • Išsamus GPU architektūros supratimas.

Privalumai

  • Konkurencingas atlygio paketas ir reikšmingo dalyvavimo kapitale galimybė.
  • JAV darbuotojams ir jų išlaikomiems asmenims suteikiamas visas medicininis, odontologinis ir regėjimo draudimas.
  • Lanksčios apmokamos atostogos ir visos įmonės žiemos pertrauka.
  • Apmokamos vaiko priežiūros atostogos.
  • Vaisingumo ir šeimos kūrimo parama per „Carrot“ stipendiją.
  • JAV darbuotojams įmonės organizuojamas 401(k) planas.
  • Galimybės dirbti su įvairiais mašininio mokymosi startuoliais, daug mokytis ir užmegzti profesinių ryšių.

Susiję darbai

RecruitGo

Remote Executive Assistant, Outreach and Marketing — Philippines

RecruitGo
51 – 200 Darbuotojai
KonsultavimasLogistikaRinkodara
PHFilipinai
45 000 ₱ / mėnuo
NuotolinisVisas etatasJaunesnysis specialistasVidutinis lygisDiplomas nebūtinasPrivaloma Kalba: anglųVadovo asistentas

Handle administrative support, CRM, outreach, and marketing for RecruitGo, an Employer of Record serving global clients with talent from emerging markets. Support two UK-facing clients with day-to-day administration and creative campaigns.

Atidaryti