資深雲端基礎架構與可靠性解決方案架構師
負責 EMEA 地區 NVIDIA 雲端合作夥伴 GPU 叢集的 Day 2 可靠性。 大規模自動化故障復原、可觀測性、維護與 Kubernetes 營運。
說明
- 負責 EMEA 地區 NVIDIA 雲端合作夥伴叢集的正式環境穩定性與可靠性。
- 為大型 GPU 叢集制定並改善可靠性與工作負載輸送量指標,並管理平台錯誤預算。
- 建置自動化偵測與復原工作流程,以處理 GPU、節點、網路架構及儲存故障。
- 自動化故障分類、節點排空與隔離、重設及恢復服務程序。
- 規劃並執行預防性維護及韌體或現場通知部署,涵蓋風險審查、分階段部署到驗證。
- 將 Prometheus、Grafana、Loki、DCGM、XID 診斷、GPUd 和 NVSentinel 等叢集可觀測性與可靠性工具整合至合作夥伴系統。
- 與 NVEX、技術客戶經理及合作夥伴營運團隊協調事件應變與事後檢討。
- 主導根因調查、完成矯正措施,並將重複事件轉化為自動化、健康檢查或操作手冊。
- 管理 Kubernetes、KubeVirt、Slurm 及 GPU 感知型排程器中的 Kubernetes 節點生命週期與可靠性。
- 制定節點健康政策,並協調 GPU 加速節點的升級、重新開機及安全的工作負載排空。
職位要求
- 具備電腦科學、電機或電腦工程、物理、數學或相關領域的學士、碩士或博士學位,或具同等經驗。
- 至少 8 年網站可靠性工程、正式環境工程或大規模基礎架構營運經驗。
- 具備大規模正式環境可靠性責任經驗,包括 SLO 與錯誤預算、待命與事件指揮、無責檢討,以及可衡量的可用性或平均中斷間隔改善。
- 具備操作 HPC 或 AI 叢集及 NVIDIA GPU 基礎架構的實務經驗,包括驅動程式與 CUDA 工具組生命週期、韌體、工作負載分析,以及 CPU、GPU 和高速互連的疑難排解。
- 具備在 GPU 與 HPC 環境中操作 Kubernetes 的豐富經驗,包括節點生命週期、升級與排空、排程器行為、Slurm,以及混合裸機與虛擬化的多租戶系統。
- 熟悉 Python 和 Bash,並精通 Ansible、Terraform 等基礎架構即程式碼與組態管理、以 GitOps 為基礎的叢集生命週期管理與升級,以及 Prometheus、Grafana 和 Loki。
- 具備深厚的 Linux 專業知識,包括 Red Hat 和 Ubuntu、作業系統調校與安全、資料中心網路基礎,以及 Lustre、GPFS、ZFS 和 XFS 等平行或企業級儲存。
- 具備規劃並執行大型正式環境叢集主動韌體、微碼或現場通知部署的經驗。
- 熟悉 DCGM、XID 診斷、GPUd、NVSentinel、節點健康代理程式及全叢集可靠性分析。
- 具備 NVIDIA GPU Operator、NVIDIA Network Operator 和 NVIDIA Base Command Manager 的使用經驗。
- 具備在 Kubernetes 上使用 AI 排程與推論架構的實務經驗,例如 KAI、Grove、Dynamo 和 NVIDIA Cloud Functions。
- 精通 InfiniBand 或 RoCE 等 RDMA 網路;具備 Cumulus Linux、SONiC、Spectrum-X、DPU/DOCA 及 NVLink/NVSwitch 分割區操作經驗者佳。
