STN Incorporated
STN Incorporated
11 – 50 Mitarbeitende
CybersicherheitHardwareUnternehmen
STN Incorporated stellt Managed-IT- und Cloud-Infrastruktur für Unternehmen und Teams bereit, die geschäftskritische Software, KI-Systeme und Robotik entwickeln. Zum Angebot gehören private CPU-Clouds, GPU-One-KI-Infrastruktur, sichere Netzwerke und Speicherlösungen sowie der laufende Cloud-Betrieb mit menschlichem Support rund um die Uhr und Service-Level-Vereinbarungen mit hoher Verfügbarkeit. Das Unternehmen übernimmt außerdem Cybersicherheitsbetrieb und die Reaktion auf Sicherheitsvorfälle, Compliance und Risikomanagement, Backup und Wiederherstellung sowie Technologiebeschaffung und Lebenszyklusmanagement. STN betreut SaaS-Unternehmen, KI- und Modellentwickler, Robotikunternehmen sowie regulierte Organisationen wie Gesundheitsdienstleister. Die Infrastruktur ist auf Audit-Bereitschaft und Rahmenwerke wie SOC 2 Type II und HIPAA ausgelegt.

Senior Lead für die Optimierung von Inferenz-Workloads

Leite die GPU-Performance-Optimierung von KI-Workloads auf STNs autonomer Rechenzentrumsplattform. Überführe Optimierungsexpertise in agentenausführbare Lösungen und verantworte das interne Model-Serving.

Beschreibung

  • Analysiere Trainings- und Inferenz-Workloads von Kunden, um Leistungsengpässe beim Laden von Daten, bei kollektiver Kommunikation, Speicherbandbreite, Kernels, Batching und Parallelisierung zu finden.
  • Lege Leistungs-Baselines für jede Hardwaregeneration fest, beginnend mit den aktuellen NVIDIA-Systemen.
  • Überführe Optimierungsexpertise in Lösungen, die Agenten in Kundenclustern anwenden können.
  • Optimiere Workloads gemeinsam mit Kunden mit fest zugesicherter Kapazität oder direkt mit deren Betriebsteams.
  • Als nachrangige Verantwortung verwaltest du das interne Model-Serving, einschließlich kosten- und latenzbewusstem Routing sowie Migrationen zwischen Modellversionen.
  • Berate zur Verteilung von GPUs auf interne Inferenz-Workloads und Kunden-Workloads.

Anforderungen

  • Verfüge über fundierte Expertise in GPU-Performance-Engineering, einschließlich Profiling, Speicher- und Bandbreitenverhalten sowie Kernel-Verständnis auf niedriger Ebene.
  • Bringe praktische Kenntnisse von Serving-Stacks wie vLLM, SGLang oder TensorRT-LLM mit, einschließlich Batching, KV-Cache-Verwaltung und Abwägungen bei der Quantisierung.
  • Habe Erfahrung mit verteiltem Training und Inferenz im großen Maßstab, einschließlich Tensor-, Pipeline- und Datenparallelität.
  • Habe Erfahrung mit der Optimierung kollektiver Kommunikation, etwa mit NCCL.
  • Sei versiert im Umgang mit Profiling-Tools wie Nsight, DCGM und Framework-Profilern.
  • Kann Leistungsergebnisse Kunden verständlich vermitteln und Lösungen für einen Agenten aufbereiten.
  • Von Vorteil sind CUDA-Kernel-Entwicklung, die Bereitstellung großer Open-Weight-Modelle, Benchmark-Design und frühere technische Erfahrung im direkten Kundenkontakt.

Ähnliche Stellen

Gramian Consulting

Spezialist/in für KI-Gesprächsforschung und -bewertung

Gramian Consulting

Gramian Consulting sucht eine Fachkraft zur Bewertung von KI-Gesprächen, um die Qualität von KI-Empfehlungen zu verbessern. Die Stelle umfasst strukturierte qualitative Analysen zwischenmenschlicher Situationen und das Erkennen fehlender Zusammenhänge.

Öffnen
CDW

Beratungsingenieur für KI-Infrastruktur – Compute und Storage

CDW

Entwerfen und validieren Sie GPU-Compute- und Hochleistungsspeicherlösungen für KI- und Machine-Learning-Workloads in Unternehmen. Unterstützen Sie CDW-Kunden bei der Implementierung von Infrastruktur für KI-Training, Fine-Tuning und Inferenz.

Öffnen
Salesforce

Senior Lead für KI-Innovation in den Life Sciences

Salesforce

Verantworten Sie die KI-Bereitstellungsstrategie von Salesforce für den Life-Sciences-Bereich, entwickeln Sie wiederverwendbare Fähigkeiten und treiben Sie die Transformation von Kunden voran. Führen Sie ein globales Team aus Produktentwicklung, Engineering und Professional Services.

Öffnen