NVIDIA разработва технологии за ускорени изчисления и изкуствен интелект, които се използват в игрите, центровете за данни, облачните изчисления, здравеопазването, производството, автомобилната индустрия и роботиката. Дейността на компанията обхваща графични процесори, платформи за изкуствен интелект, симулации и решения, насочени към конкретни индустрии, включително NVIDIA Omniverse за съвместни 3D работни процеси, NVIDIA DRIVE за разработване на автономни превозни средства и NVIDIA Clara за приложения в здравеопазването. Компанията обединява големи технически екипи, които работят по инфраструктурата и софтуера, поддържащи модерни изчисления, симулации и анализи, базирани на изкуствен интелект.
Старши архитект на решения за облачна инфраструктура и надеждност
Ръководете надеждността в експлоатация на GPU парковете на партньорите на NVIDIA Cloud в региона EMEA. Автоматизирайте възстановяването при откази, наблюдението, поддръжката и операциите с Kubernetes в голям мащаб.
Описание
- Ръководете стабилността и надеждността на продукционната среда в парковете на партньорите на NVIDIA Cloud в региона EMEA.
- Задавайте и подобрявайте показателите за надеждност и пропускателна способност на натоварванията за големи GPU клъстери и управлявайте бюджетите за грешки на платформата.
- Изграждайте автоматизирани процеси за откриване и възстановяване при откази на GPU, възли, мрежовата fabric и хранилището.
- Автоматизирайте класифицирането на откази, извеждането на възли от работа и изолирането им, нулирането и процедурите за връщане в експлоатация.
- Планирайте и изпълнявайте превантивна поддръжка и внедряване на фърмуер или полеви уведомления – от оценки на риска и поетапни внедрявания до проверка.
- Интегрирайте инструментите за наблюдаемост и надеждност на парка, включително Prometheus, Grafana, Loki, DCGM, XID диагностика, GPUd и NVSentinel, със системите на партньорите.
- Координирайте реакцията при инциденти и последващите прегледи с NVEX, техническите мениджъри на клиенти и оперативните екипи на партньорите.
- Ръководете разследванията на първопричини, приключвайте коригиращите действия и превръщайте повтарящите се инциденти в автоматизация, проверки на състоянието или оперативни наръчници.
- Управлявайте жизнения цикъл и надеждността на възлите Kubernetes в средите Kubernetes, KubeVirt и Slurm, както и при планировчици, съобразени с GPU.
- Задавайте политики за състоянието на възлите и координирайте надстройки, рестартирания и безопасно извеждане на натоварванията от GPU-ускорени възли.
Изисквания
- Бакалавърска, магистърска или докторска степен по компютърни науки, електротехника или компютърно инженерство, физика, математика или сродна област, или равностоен опит.
- Най-малко 8 години опит в инженерство на надеждността на сайтове, продукционно инженерство или експлоатация на инфраструктура в голям мащаб.
- Доказана отговорност за продукционна надеждност в голям мащаб, включително SLO и бюджети за грешки, дежурства и командване при инциденти, безпристрастни прегледи и измерими подобрения в наличността или средното време между прекъсванията.
- Практически опит в експлоатацията на HPC или AI клъстери и NVIDIA GPU инфраструктура, включително жизнения цикъл на драйверите и CUDA Toolkit, фърмуер, профилиране на натоварвания и отстраняване на проблеми с CPU, GPU и високоскоростни свързващи мрежи.
- Задълбочен опит с Kubernetes в GPU и HPC среди, включително жизнения цикъл на възлите, надстройки и извеждане от работа, поведение на планировчика, Slurm и многонаемателни системи със смесена физическа и виртуализирана инфраструктура.
- Владеене на Python и Bash, инфраструктура като код и управление на конфигурации, например Ansible и Terraform, управление на жизнения цикъл и надстройките на паркове чрез GitOps, както и Prometheus, Grafana и Loki.
- Отлични познания по Linux, включително Red Hat и Ubuntu, настройка и защита на операционни системи, основи на мрежите в центрове за данни и паралелни или корпоративни хранилища като Lustre, GPFS, ZFS и XFS.
- Опит в планирането и изпълнението на проактивно внедряване на фърмуер, микрокод или полеви уведомления в голям продукционен парк.
- Познания по DCGM, XID диагностика, GPUd, NVSentinel, агенти за състоянието на възлите и анализ на надеждността в целия парк.
- Опит с NVIDIA GPU и Network Operators и NVIDIA Base Command Manager.
- Практически опит с рамки за планиране на AI натоварвания и инференция върху Kubernetes, като KAI, Grove, Dynamo и NVIDIA Cloud Functions.
- Експертни познания по RDMA мрежи като InfiniBand или RoCE; опитът с Cumulus Linux, SONiC, Spectrum-X, DPU/DOCA и операциите по разделяне на NVLink/NVSwitch е предимство.