Andromeda poskytuje výpočetní výkon GPU týmům, které vyvíjejí a provozují úlohy strojového učení. Její služba nabízí přístup na vyžádání ke clusterům akcelerátorů NVIDIA H100, H200 a B200 pro experimentování, trénování modelů a inferenci. K orchestraci lze využít Slurm, Kubernetes nebo SSH. Zákazníci si mohou zvolit flexibilní možnosti využití a ukládání dat, zatímco tým Andromeda poskytuje podporu DevOps. Společnost provozuje také GPUList.ai, tržiště GPU třetí strany. Dostupný profil neuvádí informace o náboru ani podrobnosti o týmu.
Seniorní inženýr zákaznické spolehlivosti, práce na dálku v Evropě
Řešte zákaznické incidenty v Linuxu, Kubernetes a GPU clusterech a pomáhejte udržovat spolehlivost výpočetní infrastruktury Andromeda pro AI. Náplň práce zahrnuje reakci na incidenty, koordinaci s poskytovateli, monitorování a automatizaci provozu.
Popis
- Veďte zákaznické požadavky od reprodukce problému přes řešení a eskalaci až po uzavření
- Diagnostikujte problémy Linuxu týkající se procesů, sítí, úložišť, protokolů jádra, soupeření o zdroje, systemd a journald
- Vyšetřujte selhání Kubernetes související s pody, stavem uzlů, plánováním a limity zdrojů
- Řešte problémy GPU, například selhání ovladačů a zásuvných modulů zařízení, chyby XID, tepelné omezení výkonu, blokování či vyprazdňování uzlů a selhání úloh napříč více uzly
- V případě potřeby eskalujte problémy a přiložte podpůrné důkazy
- Zapojte se do nepřetržité pohotovostní služby podle rozpisu
- Reagujte na upozornění a výpadky hlášené zákazníky, vyhodnocujte dopad, určujte závažnost a zapojujte příslušné týmy
- Informujte zákazníky o průběhu incidentů, jejich stavu a nevyřešených otázkách
- Zaznamenávejte incidenty a převádějte získané poznatky do provozních postupů, upozornění nebo oprav
- Určujte, zda závada pochází od poskytovatele, společnosti Andromeda, nebo zákazníka
- Zakládejte požadavky na podporu u poskytovatelů výpočetních služeb a sledujte jejich řešení
- Sledujte opakující se výpadky poskytovatelů a sdílejte zjištěné vzorce s lidmi, kteří rozhodují o výběru dodavatelů
- Automatizujte ruční kontroly pomocí Pythonu nebo Bashe
- Vytvářejte a vylepšujte monitorování stavu clusterů a uzlů, telemetrii GPU, přehledové panely a užitečná upozornění
- Udržujte provozní postupy a zákaznickou dokumentaci aktuální
Požadavky
- Praktická zkušenost s řešením problémů Linuxu v příkazovém řádku, včetně práce s protokoly, procesy, sítí a disky
- Pracovní znalost podů, uzlů, nasazení, služeb, plánování a vyšetřování selhání v Kubernetes
- Schopnost automatizovat opakující se úlohy pomocí Pythonu nebo Bashe
- Dobré dovednosti v technickém psaní a schopnost jasně vysvětlovat problémy zákazníkům
- Schopnost správně se rozhodovat pod tlakem při určování priorit, eskalaci a komunikaci
- Ochota zapojit se do nepřetržité pohotovostní služby podle rozpisu
- Zkušenost s produkčními prostředími NVIDIA GPU, ovladači, CUDA, DCGM a zásuvným modulem zařízení Kubernetes je výhodou
- Zkušenost s vysokorychlostními sítěmi InfiniBand, RoCE nebo NCCL je výhodou
- Zkušenost s HPC nebo Slurm je výhodou
- Zkušenost s technickou prací se zákazníky v oblasti inženýrské podpory, správy technických zákaznických účtů, řešení nebo profesionálních služeb je výhodou
- Znalost Prometheus, Grafana, Datadog nebo podobných nástrojů je výhodou
- Zkušenost s infrastrukturou jako kódem, například Terraform, Ansible nebo Helm, je výhodou
- Zájem o infrastrukturu AI a rozsáhlé trénovací úlohy
Benefity
- Významný podíl na vlastním kapitálu společnosti
- Zdravotní, zubní a oční pojištění pro zaměstnance a jejich vyživované osoby
- Plán 401(k)
- Neomezená placená dovolená
- Možnost pracovat v rychle rostoucí společnosti zaměřené na infrastrukturu AI