LogoFresh Jobs Ahead
STN Incorporated
STN Incorporated
11 – 50 Medarbejdere
CybersikkerhedHardwareVirksomhed
STN Incorporated leverer administrerede IT- og cloudinfrastrukturtjenester til virksomheder og teams, der udvikler forretningskritisk software, AI-systemer og robotteknologi. Tjenesterne omfatter private CPU-clouds, GPU One AI-infrastruktur, sikre netværk og lagring samt løbende clouddrift med menneskelig support døgnet rundt og serviceniveauaftaler med høj oppetid. Virksomheden håndterer også cybersikkerhedsdrift og hændelsesrespons, compliance og risikostyring, backup og gendannelse samt indkøb og livscyklusstyring af teknologi. STN betjener SaaS-virksomheder, AI-udviklere og modeludviklere, robotvirksomheder og regulerede organisationer, herunder sundhedsudbydere, med infrastruktur, der er designet til at understøtte revisionsparathed og rammer som SOC 2 Type II og HIPAA.
LinkedIn
Job i virksomheden

Senioransvarlig for optimering af inferensarbejdsbelastninger

Led GPU-optimering af ydeevnen for kunders AI-arbejdsbelastninger på STN’s autonome datacenterplatform. Omsæt optimeringsekspertise til løsninger, som agenter kan udføre, og stå i spidsen for intern modelservering.

USUSAFjernarbejdeFuldtidSeniorPåkrævet Sprog: engelskKunstig intelligens

Beskrivelse

  • Analysér kunders trænings- og inferensarbejdsbelastninger for at finde flaskehalse i ydeevnen inden for datalæsning, kollektiv kommunikation, hukommelsesbåndbredde, kerner, batching og parallelisme.
  • Fastlæg baselines for ydeevne for hver hardwaregeneration, begyndende med nuværende NVIDIA-systemer.
  • Omsæt optimeringsekspertise til løsninger, som agenter kan anvende på tværs af kundeklynger.
  • Finjustér arbejdsbelastninger sammen med kunder med reserveret kapacitet, direkte eller gennem deres driftsteams.
  • Som et sekundært ansvarsområde administrerer du intern modelservering, herunder omkostnings- og latenstidsbevidst routing samt migrering mellem modelversioner.
  • Rådgiv om fordeling af GPU’er mellem intern inferens og kundearbejdsbelastninger.

Krav

  • Have dyb ekspertise inden for GPU-ydeevneteknik, herunder profilering, hukommelses- og båndbreddeadfærd samt forståelse på kerneniveau.
  • Have praktisk erfaring med serveringsstakke som vLLM, SGLang eller TensorRT-LLM, herunder batching, håndtering af KV-cache og afvejninger ved kvantisering.
  • Have erfaring med distribueret træning og inferens i stor skala, herunder tensor-, pipeline- og dataparallelisme.
  • Have erfaring med at optimere kollektiv kommunikation, såsom NCCL.
  • Være fortrolig med profileringsværktøjer som Nsight, DCGM og profileringsværktøjer på frameworkniveau.
  • Kunne forklare resultater om ydeevne til kunder og omsætte løsninger til instruktioner, som en agent kan udføre.
  • En fordel: udvikling af CUDA-kerner, udrulning af open-weight-modeller i stor skala, design af benchmarks og tidligere teknisk erfaring med kundekontakt.

Relaterede job