資深客戶可靠性工程師(歐洲遠端)
排查 Linux、Kubernetes 和 GPU 叢集中的客戶事故,協助維持 Andromeda AI 運算基礎設施的可靠性。 工作涵蓋事故應變、供應商協調、監控及營運自動化。
說明
- 從重現問題到解決、升級處理及結案,全程管理客戶問題
- 診斷 Linux 問題,包括程序、網路、儲存、核心記錄、資源競爭、systemd 和 journald
- 調查 Kubernetes 故障,包括 Pod、節點狀態、排程及資源限制
- 排查 GPU 問題,例如驅動程式和裝置外掛程式故障、XID 錯誤、熱節流、節點封鎖或排空,以及多節點工作故障
- 必要時提供佐證並升級問題
- 參與 24 小時全年無休的值班輪值
- 回應警示和客戶通報的服務中斷,評估影響、判定嚴重程度並聯繫適當團隊
- 在事故期間向客戶更新進度,包括目前狀態和未解決的問題
- 記錄事故,並將調查結果轉化為操作手冊、警示或修正措施
- 判斷故障源自供應商、Andromeda 或客戶
- 向運算服務供應商建立支援工單並追蹤進度
- 監控供應商反覆發生的故障,並向負責供應商選擇的決策者分享相關模式
- 使用 Python 或 Bash 將人工檢查自動化
- 開發並改善叢集與節點健康監控、GPU 遙測、儀表板及可採取行動的警示
- 定期更新操作手冊和客戶文件
職位要求
- 具備 Linux 命令列實務排障經驗,包括記錄、程序、網路和磁碟
- 了解 Kubernetes Pod、節點、部署、服務、排程及故障調查
- 能使用 Python 或 Bash 將重複性工作自動化
- 具備出色的技術寫作能力,能向客戶清楚說明問題
- 能在壓力下審慎判斷,妥善安排優先順序、升級問題並進行溝通
- 願意參與 24 小時全年無休的值班輪值
- 具備 NVIDIA GPU 生產環境經驗,涉及驅動程式、CUDA、DCGM 和 Kubernetes 裝置外掛程式者尤佳
- 具備 InfiniBand、RoCE 或 NCCL 高效能網路經驗者尤佳
- 具備 HPC 或 Slurm 經驗者尤佳
- 具備面向客戶的技術工作經驗者尤佳,例如支援工程、技術客戶管理、解決方案或專業服務
- 熟悉 Prometheus、Grafana、Datadog 或類似工具者尤佳
- 具備 Terraform、Ansible 或 Helm 等基礎架構即程式碼經驗者尤佳
- 對 AI 基礎設施和大規模訓練工作有興趣
福利待遇
- 具意義的股權
- 為員工及其眷屬提供醫療、牙科和視力保險
- 401(k) 退休儲蓄計畫
- 不限天數的帶薪休假
- 有機會加入專注於 AI 基礎設施的高速成長公司
