STN Incorporated
STN Incorporated
STN Incorporated poskytuje spravované IT služby a cloudovú infraštruktúru pre podniky a tímy vyvíjajúce softvér, systémy umelej inteligencie a robotiku, ktoré sú kľúčové pre ich podnikanie. Medzi jej služby patria súkromné CPU cloudy, infraštruktúra GPU One AI, zabezpečené siete a úložiská, ako aj priebežná prevádzka cloudu s nepretržitou ľudskou podporou a dohodami o úrovni služieb s vysokou dostupnosťou. Spoločnosť zabezpečuje aj kybernetickú bezpečnosť a reakciu na incidenty, riadenie súladu s predpismi a rizík, zálohovanie a obnovu, ako aj obstarávanie technológií a správu ich životného cyklu. STN poskytuje služby spoločnostiam SaaS, tvorcom systémov umelej inteligencie a vývojárom modelov, robotickým firmám a regulovaným organizáciám vrátane poskytovateľov zdravotnej starostlivosti. Jej infraštruktúra je navrhnutá tak, aby podporovala pripravenosť na audity a súlad s rámcami, ako sú SOC 2 Type II a HIPAA.

Vedúci optimalizácie inferenčných úloh

Veďte ladenie výkonu GPU pre zákaznícke úlohy umelej inteligencie na autonómnej platforme dátových centier STN. Pretavte optimalizačné znalosti do opráv vykonateľných agentmi a dohliadajte na interné poskytovanie modelov.

Popis

  • Analyzujte zákaznícke úlohy trénovania a inferencie a hľadajte úzke miesta výkonu pri načítavaní dát, kolektívnej komunikácii, priepustnosti pamäte, jadrách, dávkovaní a paralelizme.
  • Stanovujte výkonové základné hodnoty pre každú generáciu hardvéru, počnúc súčasnou generáciou systémov NVIDIA.
  • Pretavte optimalizačné znalosti do opráv, ktoré môžu agenti nasadiť v zákazníckych klastroch.
  • Laďte úlohy so zákazníkmi s rezervovanou kapacitou, priamo alebo prostredníctvom ich prevádzkových tímov.
  • Ako vedľajšiu zodpovednosť spravujte interné poskytovanie modelov vrátane smerovania s ohľadom na náklady a latenciu a migrácií medzi verziami modelov.
  • Poskytujte odporúčania, ako rozdeliť GPU medzi internú inferenciu a zákaznícke úlohy.

Požiadavky

  • Prineste si hlboké odborné znalosti v oblasti výkonového inžinierstva GPU vrátane profilovania, správania pamäte a priepustnosti a porozumenia na úrovni jadier.
  • Majte praktické znalosti obslužných zásobníkov, ako sú vLLM, SGLang alebo TensorRT-LLM, vrátane dávkovania, správy vyrovnávacej pamäte KV a kompromisov pri kvantizácii.
  • Majte skúsenosti s distribuovaným trénovaním a inferenciou vo veľkom rozsahu vrátane paralelizmu tenzorov, pipeline a dát.
  • Majte skúsenosti s ladením kolektívnej komunikácie, napríklad pomocou NCCL.
  • Ovládajte profilovacie nástroje, ako sú Nsight, DCGM a profilery na úrovni frameworkov.
  • Dokážte zákazníkom vysvetliť zistenia o výkone a zakódovať riešenia pre agenta.
  • Výhodou sú: vývoj jadier CUDA, nasadzovanie rozsiahlych modelov s otvorenými váhami, návrh benchmarkov a predchádzajúce technické skúsenosti v kontakte so zákazníkmi.

Súvisiace pracovné ponuky

Gramian Consulting

Špecialista na výskum a hodnotenie konverzácií s AI

Gramian Consulting

Gramian Consulting hľadá hodnotiteľa konverzácií s AI, ktorý pomôže zlepšovať kvalitu odporúčaní umelej inteligencie. Náplňou práce je štruktúrovaná kvalitatívna analýza medziľudských situácií a identifikovanie chýbajúceho kontextu.

Otvoriť
Gartner

Senior riaditeľ pre správu dát a podporu AI

Gartner

V spoločnosti Gartner budete prinášať výskum a strategické odporúčania pre platformy na správu dát a podporu AI. Vedúcim pracovníkom podnikov budete radiť prostredníctvom analýz, prezentácií a stretnutí s klientmi.

Otvoriť
CDW

Senior konzultačný inžinier pre softvér umelej inteligencie

CDW

Vedieť klientske projekty v oblasti AI a MLOps v spoločnosti CDW od návrhu riešenia až po jeho dodanie. Usmerňovať inžinierov a dodávať bezpečné produkčné systémy, ktoré možno škálovať.

Otvoriť
CDW

Konzultačný inžinier pre infraštruktúru AI, výpočtovú techniku a úložiská

CDW

Navrhujte a overujte riešenia GPU výpočtovej techniky a vysokovýkonných úložísk pre podnikové úlohy AI a strojového učenia. Pomáhajte zákazníkom CDW zavádzať infraštruktúru na trénovanie, dolaďovanie a inferenciu modelov AI.

Otvoriť
Salesforce

Vedúci inovácií v oblasti umelej inteligencie pre biologické vedy

Salesforce

Riadi stratégiu zavádzania umelej inteligencie Salesforce v oblasti biologických vied, rozvíja opakovane použiteľné riešenia a podporuje transformáciu zákazníkov. Vedie globálny tím naprieč produktovým vývojom, inžinierstvom a profesionálnymi službami.

Otvoriť