STN Incorporated
STN Incorporated
STN Incorporated pruža upravljane IT usluge i infrastrukturu u oblaku za poduzeća i timove koji razvijaju poslovno kritičan softver, sustave umjetne inteligencije i robotiku. Njezine usluge obuhvaćaju privatne CPU oblake, infrastrukturu GPU One AI, sigurno umrežavanje i pohranu te kontinuirano upravljanje oblakom uz ljudsku podršku dostupnu 24 sata dnevno i ugovore o razini usluge s visokom dostupnošću. Tvrtka se bavi i kibersigurnosnim operacijama i odgovorom na incidente, upravljanjem usklađenošću i rizicima, sigurnosnim kopiranjem i oporavkom, kao i nabavom tehnologije i upravljanjem njezinim životnim ciklusom. STN pruža usluge SaaS tvrtkama, razvojnim timovima umjetne inteligencije i modela, robotiziranim tvrtkama te reguliranim organizacijama, uključujući pružatelje zdravstvene skrbi. Infrastruktura je osmišljena tako da podupire spremnost za reviziju i okvire kao što su SOC 2 Type II i HIPAA.

Voditelj optimizacije inferencijskih opterećenja

Vodite optimizaciju performansi GPU-a za korisnička AI opterećenja na autonomnoj platformi podatkovnih centara STN-a. Pretvorite stručnost u optimizaciji u popravke koje agenti mogu izvršiti te nadzirite interno posluživanje modela.

Opis

  • Analizirajte korisnička opterećenja za treniranje i inferenciju kako biste pronašli uska grla u performansama pri učitavanju podataka, kolektivnoj komunikaciji, propusnosti memorije, jezgrama, grupiranju zahtjeva i paralelizmu.
  • Postavite referentne vrijednosti performansi za svaku generaciju hardvera, počevši od aktualne generacije NVIDIA sustava.
  • Pretvorite stručnost u optimizaciji u popravke koje agenti mogu primijeniti u korisničkim klasterima.
  • Optimizirajte opterećenja s korisnicima koji su ugovorili kapacitet, izravno ili preko njihovih operativnih timova.
  • Kao sekundarnu odgovornost upravljajte internim posluživanjem modela, uključujući usmjeravanje koje uzima u obzir troškove i latenciju te migracije između verzija modela.
  • Savjetujte o raspodjeli GPU-a između interne inferencije i korisničkih opterećenja.

Zahtjevi

  • Posjedujte duboku stručnost u inženjerstvu performansi GPU-a, uključujući profiliranje, ponašanje memorije i propusnosti te razumijevanje na razini jezgri.
  • Imajte praktično znanje o sustavima za posluživanje kao što su vLLM, SGLang ili TensorRT-LLM, uključujući grupiranje zahtjeva, upravljanje KV predmemorijom i kompromise pri kvantizaciji.
  • Imajte iskustvo s distribuiranim treniranjem i inferencijom u velikom opsegu, uključujući tenzorski, cjevovodni i podatkovni paralelizam.
  • Imajte iskustvo s optimizacijom kolektivne komunikacije, primjerice NCCL-a.
  • Vješto se služite alatima za profiliranje kao što su Nsight, DCGM i profilerima na razini okvira.
  • Znajte korisnicima objasniti nalaze o performansama i kodirati rješenja za agenta.
  • Prednost su: razvoj CUDA jezgri, implementacija velikih modela s otvorenim težinama, osmišljavanje mjerila performansi i prethodno tehničko iskustvo u radu s korisnicima.

Povezani poslovi

Gramian Consulting

Specijalist za istraživanje i evaluaciju AI razgovora

Gramian Consulting

Gramian Consulting traži procjenitelja AI razgovora koji će pomoći poboljšati kvalitetu preporuka umjetne inteligencije. Posao uključuje strukturiranu kvalitativnu analizu međuljudskih situacija i prepoznavanje nedostajućeg konteksta.

Otvori
Gartner

Viši direktor za upravljanje podacima i omogućavanje umjetne inteligencije

Gartner

U Gartneru ćete pružati istraživanja i stručne smjernice za platforme za upravljanje podacima i primjenu umjetne inteligencije. Vodit ćete poslovne lidere uvidima, prezentacijama i susretima s klijentima.

Otvori
CDW

Inženjer za savjetovanje o AI infrastrukturi, računalnim resursima i pohrani

CDW

Osmislite i provjeravajte rješenja s GPU računalnim resursima i visokoučinkovitom pohranom za poslovna AI opterećenja i strojno učenje. Pomozite klijentima CDW-a u implementaciji infrastrukture za treniranje, fino podešavanje i izvođenje AI modela.

Otvori
Salesforce

Viši voditelj inovacija u području umjetne inteligencije za biološke znanosti

Salesforce

Vodi Salesforceovu strategiju isporuke rješenja umjetne inteligencije za biološke znanosti, razvija mogućnosti za višekratnu uporabu i potiče transformaciju korisnika. Upravlja globalnim timom iz područja proizvoda, inženjerstva i profesionalnih usluga.

Otvori