NVIDIA entwickelt Technologien für beschleunigtes Rechnen und künstliche Intelligenz, die in den Bereichen Gaming, Rechenzentren, Cloud Computing, Gesundheitswesen, Fertigung, Automobilindustrie und Robotik eingesetzt werden. Das Unternehmen arbeitet an Grafikprozessoren, KI-Plattformen, Simulationslösungen und branchenspezifischen Anwendungen, darunter NVIDIA Omniverse für kollaborative 3D-Workflows, NVIDIA DRIVE für die Entwicklung autonomer Fahrzeuge und NVIDIA Clara für Anwendungen im Gesundheitswesen. NVIDIA vereint große technische Teams, die an der Infrastruktur und Software für fortschrittliches Rechnen, Simulationen und KI-gestützte Analysen arbeiten.
Senior Solutions Architect für Cloud-Infrastruktur und Zuverlässigkeit
Verantworte die Zuverlässigkeit im laufenden Betrieb der NVIDIA-Cloud-Partner-GPU-Flotten in der EMEA-Region. Automatisiere Fehlerbehebung, Observability, Wartung und Kubernetes-Betrieb im großen Maßstab.
Beschreibung
- Verantworte die Stabilität und Zuverlässigkeit des Produktivbetriebs der NVIDIA-Cloud-Partner-Flotten in der EMEA-Region.
- Definiere und verbessere Zuverlässigkeits- und Workload-Durchsatzkennzahlen für große GPU-Cluster und verwalte die Error Budgets der Plattform.
- Entwickle automatisierte Erkennungs- und Wiederherstellungsabläufe für Ausfälle von GPUs, Knoten, Netzwerkinfrastruktur und Speicher.
- Automatisiere die Fehleranalyse, das Entleeren und Sperren von Knoten, Neustarts sowie deren Rückkehr in den Betrieb.
- Plane und realisiere vorbeugende Wartungsarbeiten sowie Firmware- und Feldhinweis-Rollouts – von Risikobewertungen und gestaffelten Bereitstellungen bis zur Verifikation.
- Integriere Tools für Flotten-Observability und Zuverlässigkeit, darunter Prometheus, Grafana, Loki, DCGM, XID-Diagnose, GPUd und NVSentinel, in Partnersysteme.
- Koordiniere die Reaktion auf Vorfälle und deren Nachbesprechungen mit NVEX, technischen Account Managern und Betriebsteams der Partner.
- Leite Ursachenanalysen, schließe Korrekturmaßnahmen ab und überführe wiederkehrende Vorfälle in Automatisierungen, Zustandsprüfungen oder Runbooks.
- Verantworte Lebenszyklen und Zuverlässigkeit von Kubernetes-Knoten in Kubernetes, KubeVirt, Slurm und GPU-bewussten Schedulern.
- Lege Richtlinien für den Knotenzustand fest und koordiniere Upgrades, Neustarts und das sichere Entleeren von Workloads auf GPU-beschleunigten Knoten.
Anforderungen
- Bachelor-, Master- oder Doktorgrad in Informatik, Elektrotechnik oder Computertechnik, Physik, Mathematik oder einem verwandten Fachgebiet oder gleichwertige Berufserfahrung.
- Mindestens 8 Jahre Erfahrung in Site Reliability Engineering, Produktionsengineering oder im Betrieb groß angelegter Infrastrukturen.
- Nachgewiesene Verantwortung für die Zuverlässigkeit von Produktivsystemen im großen Maßstab, einschließlich SLOs und Error Budgets, Bereitschaftsdienst und Incident Command, vorwurfsfreier Nachbesprechungen sowie messbarer Verbesserungen der Verfügbarkeit oder der mittleren Zeit zwischen Unterbrechungen.
- Praktische Erfahrung mit dem Betrieb von HPC- oder KI-Clustern und NVIDIA-GPU-Infrastruktur, einschließlich Lebenszyklen von Treibern und CUDA-Toolkits, Firmware, Workload-Profilierung sowie der Fehlerbehebung bei CPUs, GPUs und Hochgeschwindigkeitsverbindungen.
- Umfangreiche Erfahrung mit dem Betrieb von Kubernetes in GPU- und HPC-Umgebungen, einschließlich Knotenlebenszyklen, Upgrades und Entleeren, Scheduler-Verhalten, Slurm sowie mandantenfähigen Systemen mit Bare Metal und Virtualisierung.
- Sichere Kenntnisse in Python und Bash, Infrastructure as Code und Konfigurationsmanagement wie Ansible und Terraform, GitOps-basiertem Flottenlebenszyklus und Upgrades sowie Prometheus, Grafana und Loki.
- Fundierte Linux-Kenntnisse, einschließlich Red Hat und Ubuntu, Betriebssystemoptimierung und -sicherheit, Grundlagen der Rechenzentrumsvernetzung sowie paralleler oder Enterprise-Speicher wie Lustre, GPFS, ZFS und XFS.
- Erfahrung mit der Planung und Durchführung proaktiver Firmware-, Microcode- oder Feldhinweis-Rollouts in einer großen Produktivflotte.
- Vertrautheit mit DCGM, XID-Diagnose, GPUd, NVSentinel, Knotenstatus-Agenten und flottenweiter Zuverlässigkeitsanalyse.
- Erfahrung mit NVIDIA GPU und Network Operators sowie NVIDIA Base Command Manager.
- Praktische Erfahrung mit KI-Scheduling und Inferenz-Frameworks auf Kubernetes, etwa KAI, Grove, Dynamo und NVIDIA Cloud Functions.
- Fachkenntnisse in RDMA-Netzwerken wie InfiniBand oder RoCE; Erfahrung mit Cumulus Linux, SONiC, Spectrum-X, DPU/DOCA und dem Betrieb von NVLink-/NVSwitch-Partitionen ist ein Plus.