NVIDIA vyvíja technológie akcelerovaných výpočtov a umelej inteligencie, ktoré sa využívajú v hernom priemysle, dátových centrách, cloud computingu, zdravotníctve, výrobe, automobilovom priemysle a robotike. Jej činnosť zahŕňa grafické procesorové jednotky, platformy umelej inteligencie, simulácie a riešenia zamerané na konkrétne odvetvia vrátane NVIDIA Omniverse pre kolaboratívne 3D pracovné postupy, NVIDIA DRIVE na vývoj autonómnych vozidiel a NVIDIA Clara pre zdravotnícke aplikácie. Spoločnosť spája veľké technické tímy, ktoré pracujú na infraštruktúre a softvéri podporujúcich pokročilé výpočty, simulácie a analytiku založenú na umelej inteligencii.
Seniorný architekt riešení cloudovej infraštruktúry a spoľahlivosti
Zodpovedajte za spoľahlivosť v prevádzke GPU flotíl partnerov NVIDIA Cloud v regióne EMEA. Automatizujte obnovu po poruchách, monitorovanie, údržbu a prevádzku Kubernetes vo veľkom rozsahu.
Popis
- Zabezpečujte stabilitu a spoľahlivosť produkčnej prevádzky flotíl partnerov NVIDIA Cloud v regióne EMEA.
- Stanovujte a zlepšujte ukazovatele spoľahlivosti a priepustnosti úloh pre rozsiahle GPU klastre a spravujte rozpočty chýb platformy.
- Vytvárajte automatizované procesy detekcie a obnovy pri poruchách GPU, uzlov, sieťovej fabric a úložiska.
- Automatizujte triedenie porúch, vyprázdňovanie a izolovanie uzlov, ich resetovanie a postupy návratu do prevádzky.
- Plánujte a realizujte preventívnu údržbu a zavádzanie firmvéru či terénnych oznámení – od posúdenia rizík a postupného nasadzovania až po overenie.
- Prepájajte nástroje na pozorovateľnosť a spoľahlivosť flotily vrátane Prometheus, Grafana, Loki, DCGM, diagnostiky XID, GPUd a NVSentinel so systémami partnerov.
- Koordinujte reakciu na incidenty a následné vyhodnotenia s tímom NVEX, technickými manažérmi zákazníkov a prevádzkovými tímami partnerov.
- Veďte analýzy hlavnej príčiny, uzatvárajte nápravné opatrenia a opakujúce sa incidenty premieňajte na automatizáciu, kontroly stavu alebo prevádzkové príručky.
- Spravujte životný cyklus a spoľahlivosť uzlov Kubernetes v prostrediach Kubernetes, KubeVirt a Slurm aj pri plánovačoch zohľadňujúcich GPU.
- Stanovujte pravidlá stavu uzlov a koordinujte aktualizácie, reštarty a bezpečné presúvanie úloh z uzlov s akceleráciou GPU.
Požiadavky
- Bakalárske, magisterské alebo doktorandské vzdelanie v odbore informatika, elektrotechnika alebo počítačové inžinierstvo, fyzika, matematika či príbuznom odbore alebo rovnocenná prax.
- Aspoň 8 rokov praxe v inžinierstve spoľahlivosti lokalít, produkčnom inžinierstve alebo prevádzke infraštruktúry vo veľkom rozsahu.
- Preukázateľná zodpovednosť za spoľahlivosť produkčnej prevádzky vo veľkom rozsahu vrátane SLO a rozpočtov chýb, pohotovostnej služby a velenia pri incidentoch, nezaujatých vyhodnotení a merateľného zlepšenia dostupnosti alebo priemerného času medzi výpadkami.
- Praktické skúsenosti s prevádzkou HPC alebo AI klastrov a infraštruktúry NVIDIA GPU vrátane životného cyklu ovládačov a CUDA Toolkit, firmvéru, profilovania úloh a riešenia problémov s CPU, GPU a vysokorýchlostnými prepojeniami.
- Rozsiahle skúsenosti s prevádzkou Kubernetes v prostrediach GPU a HPC vrátane životného cyklu uzlov, aktualizácií a vyprázdňovania, správania plánovačov, Slurm a multitenantových systémov kombinujúcich fyzické a virtualizované prostredia.
- Znalosť Pythonu a Bashu, infraštruktúry ako kódu a správy konfigurácie, napríklad Ansible a Terraform, životného cyklu a aktualizácií flotily založených na GitOps a nástrojov Prometheus, Grafana a Loki.
- Pokročilé znalosti Linuxu vrátane Red Hat a Ubuntu, ladenia a zabezpečenia operačných systémov, základov dátových sietí a paralelných či podnikových úložísk, napríklad Lustre, GPFS, ZFS a XFS.
- Skúsenosti s plánovaním a realizáciou proaktívneho zavádzania firmvéru, mikrokódu alebo terénnych oznámení v rozsiahlej produkčnej flotile.
- Znalosť DCGM, diagnostiky XID, GPUd, NVSentinel, agentov stavu uzlov a analýzy spoľahlivosti naprieč flotilou.
- Skúsenosti s NVIDIA GPU Operatorom a Network Operatorom a NVIDIA Base Command Managerom.
- Praktické skúsenosti s rámcami na plánovanie AI úloh a inferenciu v Kubernetes, napríklad KAI, Grove, Dynamo a NVIDIA Cloud Functions.
- Odborné znalosti sietí RDMA, ako sú InfiniBand alebo RoCE; výhodou sú skúsenosti s Cumulus Linux, SONiC, Spectrum-X, DPU/DOCA a správou oddielov NVLink/NVSwitch.