LogoFresh Jobs Ahead
STN Incorporated
STN Incorporated
11 – 50 Anställda
CybersäkerhetFöretagHårdvara
STN Incorporated tillhandahåller hanterade IT- och molninfrastrukturtjänster för företag och team som utvecklar verksamhetskritisk programvara, AI-system och robotik. Tjänsterna omfattar privata CPU-moln, GPU One AI-infrastruktur, säkra nätverk och lagring samt löpande molndrift med mänsklig support dygnet runt och avtal om hög tillgänglighet. Företaget hanterar även cybersäkerhetsdrift och incidenthantering, regelefterlevnad och riskhantering, säkerhetskopiering och återställning samt teknikanskaffning och livscykelhantering. STN betjänar SaaS-företag, AI-utvecklare och modellutvecklare, robotikföretag och reglerade organisationer, däribland vårdgivare, med infrastruktur utformad för att stödja revisionsberedskap och ramverk som SOC 2 Type II och HIPAA.
LinkedIn
Jobb på företaget

Senioransvarig för optimering av inferensarbetsbelastningar

Led GPU-prestandaoptimering för kunders AI-arbetsbelastningar på STN:s autonoma datacenterplattform. Omsätt optimeringskompetens i lösningar som agenter kan tillämpa och ansvara för intern modellservering.

USUSADistansHeltidSeniorObligatoriskt Språk: engelskaArtificiell intelligens

Beskrivning

  • Analysera kunders tränings- och inferensarbetsbelastningar för att hitta prestandaflaskhalsar inom dataladdning, kollektiv kommunikation, minnesbandbredd, kärnor, batchning och parallellism.
  • Fastställ prestandabaslinjer för varje hårdvarugeneration, med start i nuvarande NVIDIA-system.
  • Omsätt optimeringskompetens i lösningar som agenter kan tillämpa i kundkluster.
  • Finjustera arbetsbelastningar tillsammans med kunder med reserverad kapacitet, direkt eller via deras driftteam.
  • Som ett sekundärt ansvarsområde hanterar du intern modellservering, inklusive kostnads- och latensmedveten routning samt migrering mellan modellversioner.
  • Ge råd om fördelning av GPU:er mellan intern inferens och kunders arbetsbelastningar.

Krav

  • Ha djup expertis inom GPU-prestandateknik, inklusive profilering, minnes- och bandbreddsbeteende samt förståelse på kärnnivå.
  • Ha praktisk kunskap om serveringsstackar som vLLM, SGLang eller TensorRT-LLM, inklusive batchning, hantering av KV-cache och avvägningar kring kvantisering.
  • Ha erfarenhet av distribuerad träning och inferens i stor skala, inklusive tensor-, pipeline- och dataparallellism.
  • Ha erfarenhet av att finjustera kollektiv kommunikation, till exempel NCCL.
  • Vara väl förtrogen med profileringsverktyg som Nsight, DCGM och ramverksspecifika profilerare.
  • Kunna förklara prestandafynd för kunder och koda lösningar för en agent.
  • Meriterande: utveckling av CUDA-kärnor, driftsättning av öppna modeller i stor skala, utformning av riktmärken och tidigare teknisk erfarenhet i kundnära roller.

Relaterade jobb

Gramian Consulting

Specialist inom AI-konversationsforskning och utvärdering

Gramian Consulting
KonsultverksamhetLogistikMarknadsföring
AUAustralienCAKanadaGBStorbritannienIEIrlandSASaudiarabienUSUSADistansHeltidMellannivåSeniorObligatoriskt Språk: engelskaArtificiell intelligens

Gramian Consulting söker en utvärderare av AI-konversationer för att förbättra kvaliteten på AI-rekommendationer. Rollen använder strukturerad kvalitativ analys för att bedöma mellanmänskliga situationer och identifiera saknad kontext.

Öppna
CDW

Konsultingenjör inom AI-infrastruktur, beräkning och lagring

CDW
Sponsor för H1B-visumHälso- och sjukvårdKonsultverksamhetUtbildning
USUSA
77 725 $ – 108 265 $ / år
DistansHeltidMellannivåSeniorObligatoriskt Språk: engelskaArtificiell intelligens
KubernetesLinuxNFS

Utforma och validera GPU-beräkning och högpresterande lagringslösningar för företags AI- och maskininlärningsarbetsflöden. Hjälp CDW:s kunder att implementera infrastruktur för AI-träning, finjustering och inferens.

Öppna