NVIDIA phát triển các công nghệ điện toán tăng tốc và trí tuệ nhân tạo được sử dụng trong lĩnh vực game, trung tâm dữ liệu, điện toán đám mây, chăm sóc sức khỏe, sản xuất, ô tô và robot. Hoạt động của công ty bao gồm bộ xử lý đồ họa, nền tảng AI, công nghệ mô phỏng và các giải pháp chuyên biệt cho từng ngành, trong đó có NVIDIA Omniverse dành cho quy trình làm việc 3D cộng tác, NVIDIA DRIVE phục vụ phát triển xe tự hành và NVIDIA Clara cho các ứng dụng chăm sóc sức khỏe. Công ty quy tụ các đội ngũ kỹ thuật lớn cùng phát triển hạ tầng và phần mềm hỗ trợ điện toán tiên tiến, mô phỏng và phân tích dựa trên AI.
Kiến trúc sư giải pháp cấp cao về hạ tầng đám mây và độ tin cậy
Dẫn dắt độ tin cậy Day 2 cho các cụm GPU của NVIDIA Cloud Partner tại EMEA. Tự động hóa khôi phục sự cố, khả năng quan sát, bảo trì và vận hành Kubernetes ở quy mô lớn.
Mô tả
- Dẫn dắt sự ổn định và độ tin cậy của môi trường sản xuất trên các cụm NVIDIA Cloud Partner tại EMEA.
- Thiết lập và cải thiện các chỉ số độ tin cậy và thông lượng khối lượng công việc cho các cụm GPU lớn, đồng thời quản lý ngân sách lỗi của nền tảng.
- Xây dựng quy trình tự động phát hiện và khôi phục khi GPU, nút, mạng fabric hoặc bộ lưu trữ gặp sự cố.
- Tự động hóa việc phân loại sự cố, đưa nút ra khỏi cụm và cô lập nút, khởi động lại cũng như quy trình đưa nút trở lại hoạt động.
- Lập kế hoạch và triển khai bảo trì phòng ngừa cùng các đợt cập nhật firmware hoặc thông báo kỹ thuật hiện trường, từ rà soát rủi ro, triển khai theo từng giai đoạn đến xác minh.
- Tích hợp các công cụ quan sát và độ tin cậy của toàn bộ cụm—bao gồm Prometheus, Grafana, Loki, DCGM, chẩn đoán XID, GPUd và NVSentinel—với hệ thống của đối tác.
- Phối hợp ứng phó sự cố và đánh giá sau sự cố với NVEX, quản lý khách hàng kỹ thuật và nhóm vận hành của đối tác.
- Dẫn dắt điều tra nguyên nhân gốc rễ, hoàn tất các hành động khắc phục và chuyển các sự cố tái diễn thành quy trình tự động, kiểm tra tình trạng hoặc sổ tay vận hành.
- Quản lý vòng đời nút Kubernetes và độ tin cậy trên Kubernetes, KubeVirt, Slurm cùng các bộ lập lịch có hỗ trợ GPU.
- Thiết lập chính sách tình trạng nút và phối hợp nâng cấp, khởi động lại cũng như đưa khối lượng công việc ra khỏi các nút tăng tốc GPU một cách an toàn.
Yêu cầu
- Có bằng cử nhân, thạc sĩ hoặc tiến sĩ về khoa học máy tính, kỹ thuật điện hoặc máy tính, vật lý, toán học hay lĩnh vực liên quan; hoặc có kinh nghiệm tương đương.
- Có ít nhất 8 năm kinh nghiệm trong kỹ thuật độ tin cậy trang web, kỹ thuật môi trường sản xuất hoặc vận hành hạ tầng quy mô lớn.
- Đã chịu trách nhiệm về độ tin cậy môi trường sản xuất ở quy mô lớn, bao gồm SLO và ngân sách lỗi, trực vận hành và chỉ huy ứng phó sự cố, đánh giá không quy trách nhiệm cá nhân, cùng các cải thiện có thể đo lường về tính sẵn sàng hoặc thời gian trung bình giữa các lần gián đoạn.
- Có kinh nghiệm thực tế vận hành cụm HPC hoặc AI và hạ tầng GPU NVIDIA, bao gồm vòng đời trình điều khiển và bộ công cụ CUDA, firmware, phân tích hiệu năng khối lượng công việc, cùng xử lý sự cố CPU, GPU và kết nối liên thông tốc độ cao.
- Có nhiều kinh nghiệm vận hành Kubernetes trong môi trường GPU và HPC, bao gồm vòng đời nút, nâng cấp và đưa nút ra khỏi cụm, hành vi của bộ lập lịch, Slurm và hệ thống nhiều bên thuê kết hợp máy chủ vật lý với máy ảo.
- Thành thạo Python và Bash, hạ tầng dưới dạng mã và quản lý cấu hình như Ansible và Terraform, vòng đời và nâng cấp toàn cụm dựa trên GitOps, cùng Prometheus, Grafana và Loki.
- Am hiểu Linux, bao gồm Red Hat và Ubuntu, tinh chỉnh và bảo mật hệ điều hành, kiến thức nền tảng về mạng trung tâm dữ liệu, cùng các hệ thống lưu trữ song song hoặc doanh nghiệp như Lustre, GPFS, ZFS và XFS.
- Có kinh nghiệm lập kế hoạch và triển khai chủ động các đợt cập nhật firmware, vi mã hoặc thông báo kỹ thuật hiện trường trên cụm môi trường sản xuất quy mô lớn.
- Quen thuộc với DCGM, chẩn đoán XID, GPUd, NVSentinel, tác tử theo dõi tình trạng nút và phân tích độ tin cậy trên toàn cụm.
- Có kinh nghiệm với NVIDIA GPU Operator và Network Operator, cùng NVIDIA Base Command Manager.
- Có kinh nghiệm thực tế với các khung lập lịch AI và suy luận trên Kubernetes như KAI, Grove, Dynamo và NVIDIA Cloud Functions.
- Có chuyên môn về mạng RDMA như InfiniBand hoặc RoCE; kinh nghiệm với Cumulus Linux, SONiC, Spectrum-X, DPU/DOCA và vận hành phân vùng NVLink/NVSwitch là một lợi thế.