STN Incorporated
STN Incorporated
STN Incorporated pakub hallatud IT- ja pilvetaristut ettevõtetele ning meeskondadele, kes arendavad ärikriitilist tarkvara, tehisintellektisüsteeme ja robootikat. Teenuste hulka kuuluvad privaatsed CPU-pilved, GPU One’i tehisintellektitaristu, turvalised võrguühendused ja salvestuslahendused ning pidev pilvehaldus, mida toetavad ööpäevaringne inimtugi ja kõrge käideldavusega teenusetaseme kokkulepped. Ettevõte tegeleb ka küberturbe ja intsidentidele reageerimisega, nõuetele vastavuse ja riskijuhtimisega, varundamise ja taastamisega ning tehnoloogia hankimise ja elutsükli haldamisega. STN teenindab SaaS-ettevõtteid, tehisintellekti arendajaid ja mudelite loojaid, robootikaettevõtteid ning reguleeritud valdkondade organisatsioone, sealhulgas tervishoiuteenuse osutajaid. Taristu on kavandatud toetama auditivalmidust ja selliseid raamistikke nagu SOC 2 Type II ning HIPAA.

Vanemtasemelise järelduskoormuse optimeerimise juht

Juhi klientide tehisintellekti töökoormuste GPU-jõudluse häälestamist STN-i autonoomsel andmekeskuseplatvormil. Muuda optimeerimisalane ekspertiis agentide rakendatavateks parandusteks ja halda sisemist mudelite teenindamist.

Kirjeldus

  • Analüüsi klientide treeningu- ja järeldustöökoormusi, et leida jõudluse kitsaskohad andmete laadimises, kollektiivses andmesides, mäluribalaiuses, kernelites, pakktöötluses ja paralleelsuses.
  • Määra iga riistvarapõlvkonna jõudluse võrdlustasemed, alustades praeguse põlvkonna NVIDIA süsteemidest.
  • Muuda optimeerimisalane ekspertiis parandusteks, mida agendid saavad rakendada klientide klastrites.
  • Häälesta töökoormusi püsiva võimsusega klientidega otse või nende käitustiimide kaudu.
  • Teise vastutusalana halda sisemist mudelite teenindamist, sealhulgas kulusid ja latentsust arvestavat suunamist ning mudeliversioonide migreerimist.
  • Anna nõu GPU-de jaotamisel sisemise järeldustöötluse ja klientide töökoormuste vahel.

Nõuded

  • Sul on põhjalikud teadmised GPU-jõudluse inseneeriast, sealhulgas profileerimisest, mälu ja ribalaiuse käitumisest ning kernelitasandi toimimisest.
  • Sul on praktilised teadmised teeninduslahendustest, nagu vLLM, SGLang või TensorRT-LLM, sealhulgas pakktöötlusest, KV-vahemälu haldamisest ja kvantimise kompromissidest.
  • Sul on kogemusi hajutatud treeningu ja järeldustöötlusega suures mahus, sealhulgas tensori-, toru- ja andmeparalleelsusega.
  • Sul on kogemusi kollektiivse andmeside, näiteks NCCL-i, häälestamisega.
  • Oled vilunud kasutama profileerimistööriistu, nagu Nsight, DCGM ja raamistikutasandi profileerijad.
  • Oskad selgitada jõudluse analüüsi tulemusi klientidele ja kodeerida lahendusi, mida agent saab rakendada.
  • Eeliseks on CUDA kernelite arendamise, avatud kaaludega mudelite suuremahulise juurutamise, võrdlustestide kavandamise ja varasema tehnilise klienditöö kogemus.

Seotud töökohad

CDW

Tehisintellekti taristu konsultinsener, arvutus ja salvestus

CDW

Kavandad ja valideerid GPU-arvutus- ning suure jõudlusega salvestuslahendusi ettevõtete tehisintellekti ja masinõppe töökoormustele. Aitad CDW klientidel rakendada taristut tehisintellekti treenimiseks, peenhäälestuseks ja järelduste tegemiseks.

Ava
Salesforce

Eluteaduste valdkonna vanem tehisintellekti innovatsioonijuht

Salesforce

Juhi Salesforce'i eluteaduste tehisintellektilahenduste tarnestrateegiat, arenda korduskasutatavaid võimekusi ja edenda klientide ümberkujundamist. Juhi üleilmset toote-, inseneri- ja professionaalsete teenuste meeskonda.

Ava