A NVIDIA desenvolve tecnologias de computação acelerada e inteligência artificial usadas em jogos, data centers, computação em nuvem, saúde, manufatura, setor automotivo e robótica. Seu trabalho abrange unidades de processamento gráfico, plataformas de IA, simulação e soluções voltadas para diferentes setores, incluindo o NVIDIA Omniverse para fluxos de trabalho colaborativos em 3D, o NVIDIA DRIVE para o desenvolvimento de veículos autônomos e o NVIDIA Clara para aplicações na área da saúde. A empresa reúne grandes equipes técnicas que trabalham na infraestrutura e no software que dão suporte à computação avançada, à simulação e à análise orientada por IA.
Arquiteto(a) sênior de soluções de infraestrutura e confiabilidade em nuvem
Lidere a confiabilidade operacional dos parques de GPUs de parceiros da NVIDIA Cloud na região EMEA. Automatize a recuperação de falhas, a observabilidade, a manutenção e as operações de Kubernetes em escala.
Descrição
- Lidere a estabilidade e a confiabilidade em produção dos parques de parceiros da NVIDIA Cloud na região EMEA.
- Defina e aprimore métricas de confiabilidade e vazão de cargas de trabalho para grandes clusters de GPUs, e gerencie os orçamentos de erros da plataforma.
- Crie fluxos automatizados para detectar e recuperar falhas em GPUs, nós, malha de rede e armazenamento.
- Automatize a triagem de falhas, a drenagem e o isolamento de nós, as reinicializações e os procedimentos para restabelecer o serviço.
- Planeje e execute a manutenção preventiva e as implantações de firmware ou avisos de campo, desde a análise de riscos e as implantações em etapas até a verificação.
- Integre ferramentas de observabilidade e confiabilidade de parques — incluindo Prometheus, Grafana, Loki, DCGM, diagnósticos XID, GPUd e NVSentinel — aos sistemas dos parceiros.
- Coordene a resposta a incidentes e as revisões pós-incidente com NVEX, gerentes técnicos de contas e equipes de operações dos parceiros.
- Lidere investigações de causa raiz, conclua ações corretivas e transforme incidentes recorrentes em automações, verificações de integridade ou manuais operacionais.
- Gerencie os ciclos de vida e a confiabilidade de nós Kubernetes em Kubernetes, KubeVirt, Slurm e escalonadores compatíveis com GPUs.
- Defina políticas de integridade de nós e coordene atualizações, reinicializações e a drenagem segura de cargas de trabalho em nós acelerados por GPU.
Requisitos
- Bacharelado, mestrado ou doutorado em ciência da computação, engenharia elétrica ou da computação, física, matemática ou área relacionada, ou experiência equivalente.
- Pelo menos 8 anos em engenharia de confiabilidade de sites, engenharia de produção ou operações de infraestrutura em grande escala.
- Responsabilidade comprovada pela confiabilidade de produção em escala, incluindo SLOs e orçamentos de erros, plantões e comando de incidentes, análises sem atribuição de culpa e ganhos mensuráveis em disponibilidade ou no tempo médio entre interrupções.
- Experiência prática operando clusters de HPC ou IA e infraestrutura de GPUs da NVIDIA, incluindo ciclos de vida de drivers e CUDA Toolkit, firmware, análise de perfil de cargas de trabalho e solução de problemas de CPUs, GPUs e interconexões de alta velocidade.
- Ampla experiência operando Kubernetes em ambientes de GPU e HPC, incluindo ciclos de vida de nós, atualizações e drenagem, comportamento de escalonadores, Slurm e sistemas multi-inquilino mistos, bare metal e virtualizados.
- Proficiência em Python e Bash, infraestrutura como código e gerenciamento de configuração, como Ansible e Terraform, gerenciamento do ciclo de vida e de atualizações de parques com GitOps, e Prometheus, Grafana e Loki.
- Sólidos conhecimentos de Linux, incluindo Red Hat e Ubuntu, ajuste e segurança de sistemas operacionais, fundamentos de redes de data center e armazenamento paralelo ou corporativo, como Lustre, GPFS, ZFS e XFS.
- Experiência planejando e executando implantações proativas de firmware, microcódigo ou avisos de campo em um grande parque de produção.
- Familiaridade com DCGM, diagnósticos XID, GPUd, NVSentinel, agentes de integridade de nós e inteligência de confiabilidade de todo o parque.
- Experiência com NVIDIA GPU Operator, NVIDIA Network Operator e NVIDIA Base Command Manager.
- Experiência prática com estruturas de escalonamento de IA e inferência em Kubernetes, como KAI, Grove, Dynamo e NVIDIA Cloud Functions.
- Domínio de redes RDMA, como InfiniBand ou RoCE; experiência com Cumulus Linux, SONiC, Spectrum-X, DPU/DOCA e operações de particionamento de NVLink/NVSwitch é um diferencial.