STN Incorporated
STN Incorporated
STN Incorporated levert beheerde IT- en cloudinfrastructuur aan ondernemingen en teams die bedrijfskritische software, AI-systemen en robotica ontwikkelen. De diensten omvatten private CPU-clouds, GPU One AI-infrastructuur, beveiligde netwerken en opslag, en doorlopend cloudbeheer met 24/7 menselijke ondersteuning en service level agreements met hoge beschikbaarheid. Het bedrijf verzorgt ook cybersecurityactiviteiten en incidentrespons, compliance en risicobeheer, back-ups en herstel, en de inkoop en levenscyclus van technologie. STN bedient SaaS-bedrijven, AI-bouwers en modelontwikkelaars, roboticaondernemingen en gereguleerde organisaties, waaronder zorgaanbieders. De infrastructuur is ontworpen om audits voor te bereiden en kaders zoals SOC 2 Type II en HIPAA te ondersteunen.

Senior Lead Optimalisatie van Inferentieworkloads

Leid de GPU-prestatieoptimalisatie van AI-workloads op STN’s autonome datacenterplatform. Zet optimalisatiekennis om in oplossingen die agents kunnen uitvoeren en stuur de interne modelbediening aan.

Beschrijving

  • Analyseer de trainings- en inferentieworkloads van klanten om prestatieknelpunten op te sporen bij het laden van data, collectieve communicatie, geheugenbandbreedte, kernels, batching en parallellisatie.
  • Stel prestatiebaselines vast voor elke hardwaregeneratie, te beginnen met de huidige NVIDIA-systemen.
  • Zet optimalisatiekennis om in oplossingen die agents op klantclusters kunnen toepassen.
  • Stem workloads af met klanten met gereserveerde capaciteit, rechtstreeks of via hun operationele teams.
  • Beheer als secundaire verantwoordelijkheid de interne modelbediening, waaronder routering op basis van kosten en latentie en migraties tussen modelversies.
  • Adviseer over de verdeling van GPU’s tussen interne inferentie en workloads van klanten.

Vereisten

  • Breng diepgaande expertise in GPU-prestatie-engineering mee, waaronder profiling, geheugen- en bandbreedtegedrag en inzicht op kernelniveau.
  • Heb praktische kennis van serving-stacks zoals vLLM, SGLang of TensorRT-LLM, waaronder batching, KV-cachebeheer en afwegingen rond kwantisering.
  • Heb ervaring met gedistribueerde training en inferentie op grote schaal, waaronder tensor-, pipeline- en dataparallellisatie.
  • Heb ervaring met het afstemmen van collectieve communicatie, zoals NCCL.
  • Werk vlot met profilingtools zoals Nsight, DCGM en profilers op frameworkniveau.
  • Kun prestatiebevindingen aan klanten uitleggen en oplossingen vastleggen zodat een agent ze kan uitvoeren.
  • Mooi meegenomen: CUDA-kernelontwikkeling, grootschalige implementatie van open-weightmodellen, benchmarkontwerp en eerdere technische ervaring in klantcontact.

Gerelateerde vacatures

Gramian Consulting

Specialist AI-gespreksonderzoek en -evaluatie

Gramian Consulting

Gramian Consulting zoekt een beoordelaar van AI-gesprekken om de kwaliteit van AI-aanbevelingen te verbeteren. In deze functie analyseer je interpersoonlijke situaties op een gestructureerde, kwalitatieve manier en spoor je ontbrekende context op.

Openen
Salesforce

Senior lead AI-innovatie, Life Sciences

Salesforce

Bepaal de AI-uitvoeringsstrategie van Salesforce voor Life Sciences, ontwikkel herbruikbare mogelijkheden en stimuleer klanttransformatie. Geef leiding aan een wereldwijd team op het gebied van product, engineering en Professional Services.

Openen