LogoFresh Jobs Ahead
STN Incorporated
STN Incorporated
11 – 50 Ansatte
CybersikkerhetForetakMaskinvare
STN Incorporated leverer administrerte IT- og skyinfrastrukturtjenester til bedrifter og team som utvikler virksomhetskritisk programvare, AI-systemer og robotikk. Tjenestene omfatter private CPU-skyer, GPU One AI-infrastruktur, sikre nettverk og lagring samt løpende skydrift med menneskelig støtte døgnet rundt og tjenestenivåavtaler med høy oppetid. Selskapet håndterer også cybersikkerhetsdrift og hendelsesrespons, etterlevelse og risikostyring, sikkerhetskopiering og gjenoppretting samt innkjøp og livssyklushåndtering av teknologi. STN betjener SaaS-selskaper, AI-utviklere og modellutviklere, robotikkselskaper og regulerte organisasjoner, inkludert helseaktører, med infrastruktur utformet for å støtte revisjonsberedskap og rammeverk som SOC 2 Type II og HIPAA.
LinkedIn
Jobber i bedriften

Senioransvarlig for optimalisering av inferensarbeidsbelastninger

Led GPU-ytelsesoptimalisering for kundenes AI-arbeidsbelastninger på STNs autonome datasenterplattform. Gjør optimaliseringsekspertise om til løsninger agenter kan utføre, og ha ansvar for intern modellservering.

USUSAFjernarbeidHeltidSeniorPåkrevd Språk: engelskKunstig intelligens

Beskrivelse

  • Analyser kundenes trenings- og inferensarbeidsbelastninger for å finne ytelsesflaskehalser innen datalasting, kollektiv kommunikasjon, minnebåndbredde, kjerner, batching og parallellisme.
  • Fastsett ytelsesbaseliner for hver maskinvaregenerasjon, med dagens NVIDIA-systemer som utgangspunkt.
  • Gjør optimaliseringsekspertise om til løsninger agenter kan ta i bruk på tvers av kundeklynger.
  • Finjuster arbeidsbelastninger sammen med kunder med reservert kapasitet, direkte eller via driftsteamene deres.
  • Som et sekundært ansvarsområde administrerer du intern modellservering, inkludert kostnads- og latenstidsbevisst ruting og migrering mellom modellversjoner.
  • Gi råd om fordeling av GPU-er mellom intern inferens og kundenes arbeidsbelastninger.

Krav

  • Ha dyp ekspertise innen GPU-ytelsesteknikk, inkludert profilering, minne- og båndbreddeatferd og forståelse på kjernenivå.
  • Ha praktisk kunnskap om serveringsstakker som vLLM, SGLang eller TensorRT-LLM, inkludert batching, håndtering av KV-cache og avveininger ved kvantisering.
  • Ha erfaring med distribuert trening og inferens i stor skala, inkludert tensor-, pipeline- og dataparallellisme.
  • Ha erfaring med optimalisering av kollektiv kommunikasjon, for eksempel NCCL.
  • Være godt kjent med profileringsverktøy som Nsight, DCGM og profileringsverktøy på rammeverksnivå.
  • Kunne forklare ytelsesfunn for kunder og gjøre løsninger om til instruksjoner en agent kan utføre.
  • En fordel: utvikling av CUDA-kjerner, storskala utrulling av åpne modeller med tilgjengelige vekter, utforming av referansetester og tidligere teknisk erfaring med kundekontakt.

Relaterte jobber