STN Incorporated
STN Incorporated
STN Incorporated poskytuje spravované IT služby a cloudovou infrastrukturu podnikům a týmům, které vyvíjejí software zásadní pro chod firmy, systémy umělé inteligence a robotiku. Nabídka zahrnuje soukromé cloudy založené na procesorech CPU, infrastrukturu GPU One pro AI, zabezpečené sítě a úložiště i průběžný provoz cloudových služeb s nepřetržitou podporou odborníků a smlouvami o úrovni služeb zajišťujícími vysokou dostupnost. Společnost se také věnuje kybernetické bezpečnosti a reakci na incidenty, řízení souladu s předpisy a rizik, zálohování a obnově, pořizování technologií a řízení jejich životního cyklu. STN poskytuje služby firmám SaaS, tvůrcům AI a modelů, robotickým společnostem a regulovaným organizacím včetně poskytovatelů zdravotní péče. Její infrastruktura je navržena tak, aby podporovala připravenost na audit a rámce, jako jsou SOC 2 Type II a HIPAA.

Vedoucí optimalizace inferenčních úloh

Veďte ladění výkonu GPU pro zákaznické úlohy AI na autonomní platformě datových center STN. Převádějte odborné znalosti optimalizace na opravy proveditelné agenty a dohlížejte na interní obsluhu modelů.

Popis

  • Analyzujte zákaznické úlohy trénování a inference a hledejte výkonnostní úzká místa v načítání dat, kolektivní komunikaci, propustnosti paměti, kernelech, dávkování a paralelismu.
  • Stanovujte výchozí výkonnostní úrovně pro každou generaci hardwaru, počínaje současnou generací systémů NVIDIA.
  • Převádějte odborné znalosti optimalizace na opravy, které mohou agenti použít v zákaznických clusterech.
  • Laďte úlohy u zákazníků se sjednanou kapacitou, přímo nebo prostřednictvím jejich provozních týmů.
  • Jako vedlejší odpovědnost řiďte interní obsluhu modelů, včetně směrování zohledňujícího náklady a latenci a migrací mezi verzemi modelů.
  • Doporučujte, jak rozdělit GPU mezi interní inferenci a zákaznické úlohy.

Požadavky

  • Mějte hluboké znalosti inženýrství výkonu GPU, včetně profilování, chování paměti a propustnosti a porozumění na úrovni kernelů.
  • Mějte praktické zkušenosti se stacky pro obsluhu modelů, jako jsou vLLM, SGLang nebo TensorRT-LLM, včetně dávkování, správy KV cache a kompromisů kvantizace.
  • Mějte zkušenosti s distribuovaným trénováním a inferencí ve velkém měřítku, včetně tenzorového, pipeline a datového paralelismu.
  • Mějte zkušenosti s laděním kolektivní komunikace, například NCCL.
  • Dobře ovládejte nástroje pro profilování, jako jsou Nsight, DCGM a profilery na úrovni frameworků.
  • Dokážete vysvětlit zákazníkům zjištění o výkonu a zakódovat řešení pro agenta.
  • Výhodou je vývoj CUDA kernelů, nasazování rozsáhlých modelů s otevřenými váhami, návrh benchmarků a předchozí technická zkušenost se zákazníky.

Související pracovní nabídky

Gramian Consulting

Specialista pro výzkum a hodnocení konverzací s AI

Gramian Consulting

Gramian Consulting hledá specialistu, který bude hodnotit konverzace s AI a zvyšovat kvalitu doporučení. Práce zahrnuje strukturovanou kvalitativní analýzu mezilidských situací a odhalování chybějícího kontextu.

Otevřít
Gartner

Seniorní ředitel pro správu dat a podporu umělé inteligence

Gartner

Ve společnosti Gartner budete provádět výzkum a poskytovat vedení poradenství v oblasti platforem pro správu dat a podpory umělé inteligence. Podporujte vedoucí pracovníky podniků analýzami, prezentacemi a jednáními s klienty.

Otevřít
CDW

Konzultační inženýr pro infrastrukturu AI, výpočetní výkon a úložiště

CDW

Navrhujte a ověřujte řešení založená na výpočtech GPU a vysokovýkonných úložištích pro podnikové úlohy AI a strojového učení. Pomáhejte zákazníkům CDW zavádět infrastrukturu pro trénování, dolaďování a inferenci modelů AI.

Otevřít
Salesforce

Seniorní vedoucí inovací v oblasti věd o živé přírodě a AI

Salesforce

Veďte strategii dodávek AI společnosti Salesforce v oblasti věd o živé přírodě, rozvíjejte opakovaně využitelné schopnosti a podporujte transformaci zákazníků. Veďte globální tým odborníků na produkty, inženýrství a profesionální služby.

Otevřít