Andromeda надає GPU-обчислення командам, які розробляють і запускають робочі навантаження машинного навчання. Сервіс забезпечує доступ на вимогу до кластерів прискорювачів NVIDIA H100, H200 і B200 для експериментів, навчання моделей та інференсу. Для оркестрації можна використовувати Slurm, Kubernetes або SSH. Клієнти можуть обирати гнучкі варіанти використання та зберігання даних, а команда Andromeda надає підтримку DevOps. Компанія також керує GPUList.ai — стороннім маркетплейсом GPU. Відомості про найм і команду в доступному профілі не зазначені.
Старший інженер із надійності клієнтів, віддалено в Європі
Розв’язуйте інциденти клієнтів у Linux, Kubernetes і GPU-кластерах та підтримуйте надійність обчислювальної інфраструктури Andromeda для ШІ. Робота охоплює реагування на інциденти, взаємодію з провайдерами, моніторинг і автоматизацію експлуатації.
Опис
- Ведіть звернення клієнтів від відтворення проблеми до її вирішення, ескалації та закриття
- Діагностуйте проблеми Linux, пов’язані з процесами, мережами, сховищами, журналами ядра, конкуренцією за ресурси, systemd і journald
- Досліджуйте збої Kubernetes, пов’язані з подами, станом вузлів, плануванням і обмеженнями ресурсів
- Усувайте проблеми GPU, зокрема збої драйверів і плагінів пристроїв, помилки XID, теплове обмеження продуктивності, блокування або виведення вузлів з експлуатації та збої багатовузлових завдань
- За потреби ескалуйте проблеми, надаючи підтверджувальні дані
- Беріть участь у цілодобовому чергуванні за графіком
- Реагуйте на сповіщення та повідомлення клієнтів про збої, оцінюйте вплив, визначайте рівень серйозності й залучайте відповідні команди
- Інформуйте клієнтів про перебіг інцидентів, поточний стан і питання, що залишилися невирішеними
- Документуйте інциденти та перетворюйте висновки на інструкції, сповіщення або виправлення
- Визначайте, чи спричинив несправність провайдер, Andromeda або клієнт
- Створюйте запити до служб підтримки обчислювальних провайдерів і відстежуйте їх виконання
- Стежте за повторюваними збоями провайдерів і повідомляйте про закономірності фахівцям, які ухвалюють рішення щодо постачальників
- Автоматизуйте ручні перевірки за допомогою Python або Bash
- Розробляйте й покращуйте моніторинг стану кластерів і вузлів, телеметрію GPU, панелі моніторингу та корисні сповіщення
- Підтримуйте інструкції та документацію для клієнтів в актуальному стані
Вимоги
- Практичний досвід усунення проблем Linux через командний рядок, зокрема робота з журналами, процесами, мережами й дисками
- Робоче знання подів, вузлів, розгортань, сервісів, планування та аналізу збоїв Kubernetes
- Уміння автоматизувати повторювані завдання за допомогою Python або Bash
- Навички технічного письма та здатність зрозуміло пояснювати проблеми клієнтам
- Уміння зважено діяти під тиском, визначати пріоритети, ескалувати проблеми й повідомляти про них
- Готовність брати участь у цілодобовому чергуванні за графіком
- Досвід роботи з NVIDIA GPU у виробничому середовищі, драйверами, CUDA, DCGM і плагіном пристроїв Kubernetes буде перевагою
- Досвід роботи з високопродуктивними мережами InfiniBand, RoCE або NCCL буде перевагою
- Досвід роботи з HPC або Slurm буде перевагою
- Досвід технічної роботи з клієнтами в інженерній підтримці, керуванні технічними клієнтськими обліковими записами, технічних рішеннях або професійних послугах буде перевагою
- Знайомство з Prometheus, Grafana, Datadog або подібними інструментами буде перевагою
- Досвід роботи з інфраструктурою як кодом, зокрема Terraform, Ansible або Helm, буде перевагою
- Інтерес до інфраструктури ШІ та масштабних завдань навчання моделей
Переваги
- Відчутна частка в капіталі компанії
- Медичне, стоматологічне та офтальмологічне страхування для працівників і їхніх утриманців
- План 401(k)
- Необмежена оплачувана відпустка
- Можливість працювати в компанії, що швидко зростає та зосереджена на інфраструктурі ШІ