Andromeda stellt GPU-Rechenleistung für Teams bereit, die Machine-Learning-Workloads entwickeln und ausführen. Der Dienst bietet bedarfsgesteuerten Zugriff auf Cluster mit NVIDIA-H100-, H200- und B200-Beschleunigern für Experimente, Modelltraining und Inferenz. Die Orchestrierung erfolgt über Slurm, Kubernetes oder SSH. Kunden können flexible Nutzungs- und Speicheroptionen wählen; das Team von Andromeda bietet DevOps-Unterstützung. Außerdem betreibt das Unternehmen GPUList.ai, einen GPU-Marktplatz eines Drittanbieters. Angaben zum Einstellungskontext und zum Team sind im verfügbaren Profil nicht enthalten.
Senior Customer Reliability Engineer, remote in Europa
Beheben Sie Kundenstörungen in Linux-, Kubernetes- und GPU-Clustern und tragen Sie zur Zuverlässigkeit von Andromedas KI-Computing-Infrastruktur bei. Die Rolle umfasst Störungsmanagement, die Abstimmung mit Anbietern, Monitoring und operative Automatisierung.
Beschreibung
- Kundenprobleme von der Reproduktion über die Behebung und Eskalation bis zum Abschluss betreuen
- Linux-Probleme mit Prozessen, Netzwerken, Speicher, Kernel-Protokollen, Ressourcenkonflikten, systemd und journald diagnostizieren
- Kubernetes-Ausfälle im Zusammenhang mit Pods, Knotenzuständen, Scheduling und Ressourcenlimits untersuchen
- GPU-Probleme beheben, etwa Ausfälle von Treibern und Geräte-Plugins, XID-Fehler, thermische Drosselung, das Sperren oder Leeren von Knoten und Fehler bei Jobs über mehrere Knoten hinweg
- Probleme bei Bedarf mit aussagekräftigen Belegen eskalieren
- An einer Rufbereitschaft im 24/7-Betrieb teilnehmen
- Auf Warnmeldungen und von Kunden gemeldete Ausfälle reagieren, Auswirkungen bewerten, Schweregrade festlegen und die zuständigen Teams einbinden
- Kunden während Störungen über den Status und offene Fragen auf dem Laufenden halten
- Störungen dokumentieren und Erkenntnisse in Runbooks, Warnmeldungen oder Fehlerbehebungen überführen
- Feststellen, ob Fehler beim Anbieter, bei Andromeda oder beim Kunden liegen
- Support-Tickets bei Compute-Anbietern erstellen und nachverfolgen
- Wiederkehrende Ausfälle bei Anbietern beobachten und Muster an die Verantwortlichen für die Anbieterauswahl weitergeben
- Manuelle Prüfungen mit Python oder Bash automatisieren
- Monitoring für den Zustand von Clustern und Knoten, GPU-Telemetrie, Dashboards und umsetzbare Warnmeldungen entwickeln und verbessern
- Runbooks und Kundendokumentation aktuell halten
Anforderungen
- Praktische Erfahrung mit der Linux-Fehlersuche über die Kommandozeile, einschließlich Protokollen, Prozessen, Netzwerken und Datenträgern
- Grundkenntnisse in Kubernetes, insbesondere Pods, Knoten, Deployments, Services, Scheduling und Fehleranalyse
- Fähigkeit, wiederkehrende Aufgaben mit Python oder Bash zu automatisieren
- Ausgeprägte Fähigkeiten beim Verfassen technischer Dokumentation und beim klaren Erklären von Problemen gegenüber Kunden
- Urteilsvermögen unter Druck, insbesondere beim Priorisieren, Eskalieren und Kommunizieren
- Bereitschaft zur Teilnahme an einer Rufbereitschaft im 24/7-Betrieb
- Praxiserfahrung mit NVIDIA-GPUs im Produktivbetrieb sowie mit Treibern, CUDA, DCGM und dem Kubernetes-Geräte-Plugin ist von Vorteil
- Erfahrung mit Hochleistungsnetzwerken wie InfiniBand, RoCE oder NCCL ist von Vorteil
- Erfahrung mit HPC oder Slurm ist von Vorteil
- Technische Erfahrung im direkten Kundenkontakt, etwa im Support Engineering, Technical Account Management, Lösungsbereich oder in Professional Services, ist von Vorteil
- Vertrautheit mit Prometheus, Grafana, Datadog oder ähnlichen Tools ist von Vorteil
- Erfahrung mit Infrastructure as Code und Terraform, Ansible oder Helm ist von Vorteil
- Interesse an KI-Infrastruktur und umfangreichen Trainingsjobs
Zusatzleistungen
- Bedeutende Beteiligung am Unternehmen in Form von Aktienoptionen
- Kranken-, Zahn- und Sehkostenschutz für Mitarbeitende und Angehörige
- 401(k)-Vorsorgeplan
- Unbegrenzter bezahlter Urlaub
- Möglichkeit, in einem stark wachsenden Unternehmen mit Fokus auf KI-Infrastruktur zu arbeiten