STN Incorporated
STN Incorporated
STN Incorporated hutoa huduma za IT zinazosimamiwa na miundombinu ya wingu kwa makampuni na timu zinazounda programu, mifumo ya AI na roboti muhimu kwa biashara. Huduma zake zinajumuisha wingu la CPU la faragha, miundombinu ya AI ya GPU One, mitandao na hifadhi salama, pamoja na uendeshaji endelevu wa wingu unaoungwa mkono na msaada wa binadamu saa 24 kila siku na makubaliano ya kiwango cha huduma yenye upatikanaji wa juu. Kampuni pia hushughulikia shughuli za usalama wa mtandao na majibu ya matukio, usimamizi wa uzingatiaji na hatari, chelezo na urejeshaji, pamoja na ununuzi wa teknolojia na usimamizi wa mzunguko wake wa maisha. STN huhudumia kampuni za SaaS, wabunifu wa AI na watengenezaji wa modeli, kampuni za roboti, na mashirika yanayodhibitiwa ikiwemo watoa huduma za afya, kwa kutumia miundombinu iliyoundwa kusaidia maandalizi ya ukaguzi na mifumo kama SOC 2 Type II na HIPAA.

Kiongozi Mwandamizi wa Uboreshaji wa Mizigo ya Kazi ya Inferensi

Ongoza urekebishaji wa utendaji wa GPU kwa mizigo ya kazi ya AI ya wateja kwenye jukwaa la STN la vituo vya data vinavyojiendesha. Geuza utaalamu wa uboreshaji kuwa marekebisho yanayoweza kutekelezwa na mawakala, na usimamie uwasilishaji wa modeli za ndani.

Maelezo

  • Changanua mizigo ya kazi ya mafunzo na inferensi ya wateja ili kubaini vikwazo vya utendaji katika upakiaji wa data, mawasiliano ya pamoja, kipimo data cha kumbukumbu, kernel, upangaji wa makundi na uchakataji sambamba.
  • Weka viwango vya msingi vya utendaji kwa kila kizazi cha maunzi, kuanzia na mifumo ya NVIDIA ya kizazi cha sasa.
  • Geuza utaalamu wa uboreshaji kuwa marekebisho ambayo mawakala wanaweza kutumia katika klasta za wateja.
  • Rekebisha mizigo ya kazi pamoja na wateja walio na uwezo waliokubaliwa, moja kwa moja au kupitia timu zao za uendeshaji.
  • Kama jukumu la pili, simamia uwasilishaji wa modeli za ndani, ikijumuisha uelekezaji unaozingatia gharama na muda wa kusubiri pamoja na uhamishaji wa matoleo ya modeli.
  • Toa ushauri kuhusu ugawaji wa GPU kati ya inferensi ya ndani na mizigo ya kazi ya wateja.

Mahitaji

  • Uwe na utaalamu wa kina katika uhandisi wa utendaji wa GPU, ikijumuisha uchanganuzi wa utendaji, tabia ya kumbukumbu na kipimo data, na uelewa wa kiwango cha kernel.
  • Uwe na ujuzi wa vitendo wa mifumo ya uwasilishaji kama vLLM, SGLang au TensorRT-LLM, ikijumuisha upangaji wa makundi, usimamizi wa akiba ya KV na faida na hasara za upimaji.
  • Uwe na uzoefu wa mafunzo na inferensi iliyosambazwa kwa kiwango kikubwa, ikijumuisha uchakataji sambamba wa tensor, pipeline na data.
  • Uwe na uzoefu wa kurekebisha mawasiliano ya pamoja kama NCCL.
  • Uwe mahiri katika kutumia zana za uchanganuzi wa utendaji kama Nsight, DCGM na zana za uchanganuzi za kiwango cha mfumo wa kazi.
  • Uweze kueleza matokeo ya utendaji kwa wateja na kuweka suluhisho katika muundo ambao wakala anaweza kutekeleza.
  • Sifa ya ziada: uundaji wa kernel za CUDA, usambazaji wa modeli zenye uzani wazi kwa kiwango kikubwa, usanifu wa vipimo linganishi na uzoefu wa awali wa kiufundi unaohusisha wateja.

Kazi Zinazohusiana

CDW

Mhandisi Mshauri wa Miundombinu ya AI, Kompyuta na Hifadhi

CDW

Buni na uthibitishe suluhisho za kompyuta za GPU na hifadhi zenye utendaji wa juu kwa mizigo ya kazi ya AI na machine learning ya makampuni. Saidia wateja wa CDW kutekeleza miundombinu ya mafunzo ya AI, urekebishaji maalum, na uelekezaji wa hitimisho.

Fungua