Baseten nodrošina modeļu secināšanas infrastruktūru uzņēmumiem, kas ievieš mašīnmācīšanās un mākslīgā intelekta lietojumprogrammas. Tās platforma ir izstrādāta ātrai un mērogojamai modeļu apkalpošanai, apvienojot augstas caurlaidspējas secināšanu, ātru ieviešanu, automātisku mērogošanu, drošu uzņēmumu modeļu apkalpošanu un atbalstu atvērtā pirmkoda modeļu pakotņu veidošanai. Baseten palīdz inženierijas un mašīnmācīšanās komandām pārvaldīt modeļu infrastruktūras darbības prasības, lai tās varētu koncentrēties uz konkrētām nozarēm paredzētu modeļu izstrādi. Uzņēmums darbojas mākslīgā intelekta, SaaS un uzņēmumu tehnoloģiju jomā, un tajā strādā 11–50 darbinieki.
Inferenču veiktspējas programmatūras inženieris uzņēmumā Baseten (hibrīddarbs)
Baseten meklē inferenču veiktspējas inženieri, kas optimizēs LLM izpildes vides, GPU kodolus un modeļu apkalpošanas sistēmas. Šis amats ir vērsts uz ražošanas inferenču ātruma, aparatūras izmantošanas un izmaksu efektivitātes uzlabošanu.
Apraksts
- Ievies ražošanā progresīvas inferenču metodes, piemēram, kvantizāciju, spekulatīvo dekodēšanu, KV kešatmiņas atkārtotu izmantošanu, segmentētu priekšielādi, LoRA, vadītu ģenerēšanu un pielāgotu plānošanu vai maršrutēšanu.
- Analizē visu inferenču procesu, optimizējot kodolu noslodzi, atmiņas izvietojumu, pieprasījumu plānošanu, priekšielādes un dekodēšanas nošķiršanu, kā arī kešatmiņas apzinātu maršrutēšanu.
- Palielini uz vienu GPU stundu apstrādāto tokenu skaitu un izmantošanu, līdzsvarojot aizkavi, caurlaidspēju un izmaksas.
- Ievies jaunas modeļu arhitektūras jaunās aparatūras platformās un optimizē tās.
- Izveido etalonmērījumus dažādiem modeļu tipiem, pakešu izmēriem, secību garumiem un aparatūras konfigurācijām.
- Iesniedz uzlabojumus atvērtā pirmkoda inferenču projektiem, tostarp vLLM, SGLang un TensorRT-LLM.
- Sadarbojies ar modeļu, infrastruktūras un klientu apkalpošanas komandām, lai nodrošinātu izmērāmu veiktspējas pieaugumu.
Prasības
- Bakalaura, maģistra vai doktora grāds datorzinātnēs, inženierzinātnēs, matemātikā vai saistītā jomā.
- Profesionāla pieredze vismaz vienā vispārējas nozīmes programmēšanas valodā, tostarp Python vai C++.
- Praktiskas zināšanas par LLM optimizācijas metodēm, piemēram, kvantizāciju, spekulatīvo dekodēšanu un nepārtrauktu pakešu apstrādi.
- Teicamas mašīnmācīšanās bibliotēku, jo īpaši PyTorch, TensorRT vai TensorRT-LLM, zināšanas.
- Pierādīta interese par lielajiem valodas modeļiem un praktiska pieredze darbā ar tiem.
- Pamatīga GPU arhitektūras izpratne.
Priekšrocības
- Konkurētspējīgs atalgojuma komplekts ar nozīmīgu līdzdalību uzņēmuma kapitālā.
- ASV darbiniekiem un viņu apgādājamajiem pieejams pilns medicīniskais, zobārstniecības un redzes apdrošināšanas segums.
- Elastīgs apmaksāts atvaļinājums un uzņēmuma kopējais ziemas pārtraukums.
- Apmaksāts bērna kopšanas atvaļinājums.
- Auglības un ģimenes veidošanas atbalsts, izmantojot Carrot stipendiju.
- ASV darbiniekiem uzņēmuma organizēts 401(k) plāns.
- Iespējas strādāt ar dažādiem mašīnmācīšanās jaunuzņēmumiem, būtiski papildinot zināšanas un profesionālo tīklu.