NVIDIA 致力于开发加速计算和人工智能技术，广泛应用于游戏、数据中心、云计算、医疗保健、制造、汽车和机器人等领域。其业务涵盖图形处理器、人工智能平台、仿真技术及面向行业的解决方案，包括支持协作式 3D 工作流程的 NVIDIA Omniverse、用于自动驾驶汽车开发的 NVIDIA DRIVE，以及面向医疗应用的 NVIDIA Clara。公司汇聚了众多技术团队，专注于构建支持先进计算、仿真和人工智能驱动分析的基础设施与软件。
高级云基础设施与可靠性解决方案架构师
负责 EMEA 地区 NVIDIA 云合作伙伴 GPU 集群的 Day 2 可靠性保障。 大规模自动化故障恢复、可观测性、维护和 Kubernetes 运维。
描述
- 负责 EMEA 地区 NVIDIA 云合作伙伴集群的生产稳定性与可靠性。
- 为大型 GPU 集群制定并改进可靠性和工作负载吞吐量指标，并管理平台错误预算。
- 构建自动化检测和恢复工作流，以应对 GPU、节点、网络架构和存储故障。
- 自动化故障分诊、节点排空与隔离、重置及恢复服务流程。
- 规划并实施预防性维护及固件或现场通知部署，从风险评审、分阶段部署到验证全程负责。
- 将 Prometheus、Grafana、Loki、DCGM、XID 诊断、GPUd 和 NVSentinel 等集群可观测性与可靠性工具集成到合作伙伴系统。
- 与 NVEX、技术客户经理及合作伙伴运营团队协调事件响应和事后复盘。
- 牵头根因调查、落实纠正措施，并将重复发生的事件转化为自动化、健康检查或操作手册。
- 管理 Kubernetes、KubeVirt、Slurm 及 GPU 感知型调度器中的 Kubernetes 节点生命周期与可靠性。
- 制定节点健康策略，并协调 GPU 加速节点的升级、重启及安全的工作负载排空。
任职要求
- 计算机科学、电气或计算机工程、物理、数学或相关专业的学士、硕士或博士学位，或具备同等经验。
- 至少 8 年站点可靠性工程、生产工程或大规模基础设施运维经验。
- 具备大规模生产可靠性保障经验，包括 SLO 和错误预算、值班与事件指挥、无责复盘，以及可量化的可用性或平均中断间隔提升。
- 具备 HPC 或 AI 集群及 NVIDIA GPU 基础设施的实际运维经验，包括驱动程序和 CUDA 工具包生命周期、固件、工作负载分析，以及 CPU、GPU 和高速互连故障排查。
- 具备在 GPU 和 HPC 环境中运维 Kubernetes 的丰富经验，包括节点生命周期、升级与排空、调度器行为、Slurm，以及混合裸机与虚拟化的多租户系统。
- 熟练使用 Python 和 Bash，掌握 Ansible、Terraform 等基础设施即代码与配置管理工具、基于 GitOps 的集群生命周期管理和升级，以及 Prometheus、Grafana 和 Loki。
- 具备扎实的 Linux 专业知识，包括 Red Hat 和 Ubuntu、操作系统调优与安全、数据中心网络基础知识，以及 Lustre、GPFS、ZFS 和 XFS 等并行或企业级存储。
- 具备规划并执行大规模生产集群主动固件、微码或现场通知部署的经验。
- 熟悉 DCGM、XID 诊断、GPUd、NVSentinel、节点健康代理及集群级可靠性分析。
- 具备使用 NVIDIA GPU Operator、NVIDIA Network Operator 和 NVIDIA Base Command Manager 的经验。
- 具备在 Kubernetes 上使用 AI 调度与推理框架的实践经验，例如 KAI、Grove、Dynamo 和 NVIDIA Cloud Functions。
- 精通 InfiniBand 或 RoCE 等 RDMA 网络；具备 Cumulus Linux、SONiC、Spectrum-X、DPU/DOCA 及 NVLink/NVSwitch 分区运维经验者优先。