Andromeda fornisce risorse di calcolo GPU ai team che sviluppano ed eseguono carichi di lavoro di machine learning. Il suo servizio offre accesso on demand a cluster di acceleratori NVIDIA H100, H200 e B200 per la sperimentazione, l’addestramento dei modelli e l’inferenza, con orchestrazione tramite Slurm, Kubernetes o SSH. I clienti possono scegliere opzioni flessibili di utilizzo e archiviazione, mentre il team di Andromeda fornisce supporto DevOps. L’azienda gestisce anche GPUList.ai, un marketplace di GPU di terze parti. Il profilo disponibile non specifica il contesto delle assunzioni né i dettagli del team.
Ingegnere senior di affidabilità clienti, da remoto in Europa
Gestire gli incidenti dei clienti su Linux, Kubernetes e cluster GPU e contribuire all’affidabilità dell’infrastruttura di calcolo AI di Andromeda. Il ruolo comprende la risposta agli incidenti, il coordinamento con i fornitori, il monitoraggio e l’automazione operativa.
Descrizione
- Gestire i problemi dei clienti dalla riproduzione fino alla risoluzione, all’escalation e alla chiusura
- Diagnosticare problemi Linux relativi a processi, rete, archiviazione, log del kernel, contesa delle risorse, systemd e journald
- Analizzare i guasti di Kubernetes che coinvolgono pod, condizioni dei nodi, pianificazione e limiti delle risorse
- Risolvere problemi delle GPU, come guasti dei driver e dei plugin dei dispositivi, errori XID, limitazione termica, messa in quarantena o svuotamento dei nodi e fallimenti dei job su più nodi
- Inoltrare i problemi con le evidenze di supporto quando necessario
- Partecipare a una turnazione di reperibilità 24/7
- Rispondere agli avvisi e alle interruzioni segnalate dai clienti, valutarne l’impatto, assegnare il livello di gravità e coinvolgere i team appropriati
- Tenere informati i clienti durante gli incidenti, comunicando lo stato e le questioni ancora aperte
- Registrare gli incidenti e trasformare quanto emerso in runbook, avvisi o correzioni
- Individuare se i guasti hanno origine dal fornitore, da Andromeda o dal cliente
- Creare ticket di assistenza con i fornitori di servizi di calcolo e seguirne l’avanzamento
- Monitorare i guasti ricorrenti dei fornitori e condividere gli schemi ricorrenti con chi decide gli approvvigionamenti
- Automatizzare i controlli manuali con Python o Bash
- Sviluppare e migliorare il monitoraggio dello stato di cluster e nodi, la telemetria GPU, i dashboard e gli avvisi utilizzabili
- Mantenere aggiornati i runbook e la documentazione per i clienti
Requisiti
- Esperienza pratica nella risoluzione di problemi dalla riga di comando Linux, inclusi log, processi, rete e dischi
- Conoscenza operativa di pod, nodi, deployment, servizi, pianificazione e analisi dei guasti in Kubernetes
- Capacità di automatizzare attività ripetitive con Python o Bash
- Ottime capacità di scrittura tecnica e di spiegare chiaramente i problemi ai clienti
- Buon giudizio sotto pressione nel definire le priorità, inoltrare i problemi e comunicare
- Disponibilità a partecipare a una turnazione di reperibilità 24/7
- Costituisce un vantaggio l’esperienza in produzione con GPU NVIDIA, driver, CUDA, DCGM e il plugin dei dispositivi Kubernetes
- Costituisce un vantaggio l’esperienza con reti ad alte prestazioni come InfiniBand, RoCE o NCCL
- Costituisce un vantaggio l’esperienza con HPC o Slurm
- Costituisce un vantaggio l’esperienza tecnica a contatto con i clienti in support engineering, gestione tecnica degli account, soluzioni o servizi professionali
- Costituisce un vantaggio la familiarità con Prometheus, Grafana, Datadog o strumenti simili
- Costituisce un vantaggio l’esperienza con infrastruttura come codice tramite Terraform, Ansible o Helm
- Interesse per l’infrastruttura AI e i job di training su larga scala
Benefit
- Partecipazione azionaria significativa
- Copertura sanitaria, odontoiatrica e oculistica per dipendenti e persone a carico
- Piano 401(k)
- Permessi retribuiti illimitati
- Opportunità di lavorare in un’azienda in rapida crescita che si concentra sull’infrastruttura AI