Andromeda предоставляет GPU-вычисления командам, которые разрабатывают и запускают рабочие нагрузки машинного обучения. Сервис обеспечивает доступ по запросу к кластерам ускорителей NVIDIA H100, H200 и B200 для экспериментов, обучения моделей и инференса. Для оркестрации можно использовать Slurm, Kubernetes или SSH. Клиенты могут выбирать гибкие варианты использования и хранения данных, а команда Andromeda оказывает поддержку DevOps. Компания также управляет GPUList.ai — сторонней торговой площадкой GPU. Сведения о найме и команде в доступном профиле не указаны.
Старший инженер по надежности клиентов, удаленно в Европе
Решайте инциденты клиентов в Linux, Kubernetes и GPU-кластерах и поддерживайте надежность вычислительной инфраструктуры Andromeda для ИИ. Работа охватывает реагирование на инциденты, взаимодействие с провайдерами, мониторинг и автоматизацию эксплуатации.
Описание
- Ведите обращения клиентов от воспроизведения проблемы до ее решения, эскалации и закрытия
- Диагностируйте проблемы Linux, связанные с процессами, сетями, хранилищами, журналами ядра, конкуренцией за ресурсы, systemd и journald
- Исследуйте сбои Kubernetes, связанные с подами, состоянием узлов, планированием и ограничениями ресурсов
- Устраняйте неполадки GPU, включая сбои драйверов и плагинов устройств, ошибки XID, тепловое ограничение производительности, блокировку или вывод узлов из эксплуатации и сбои мног узловых заданий
- При необходимости эскалируйте проблемы, приложив подтверждающие данные
- Участвуйте в круглосуточном дежурстве по графику
- Реагируйте на оповещения и сообщения клиентов о сбоях, оценивайте влияние, определяйте серьезность и подключайте нужные команды
- Информируйте клиентов о ходе инцидентов, текущем статусе и вопросах, которые еще не решены
- Документируйте инциденты и превращайте полученные выводы в инструкции, оповещения или исправления
- Определяйте, вызвана ли неисправность провайдером, Andromeda или клиентом
- Создавайте заявки в службу поддержки вычислительных провайдеров и отслеживайте их выполнение
- Отслеживайте повторяющиеся сбои провайдеров и сообщайте о закономерностях специалистам, принимающим решения о выборе поставщиков
- Автоматизируйте ручные проверки с помощью Python или Bash
- Разрабатывайте и улучшайте мониторинг состояния кластеров и узлов, телеметрию GPU, панели мониторинга и полезные оповещения
- Поддерживайте инструкции и документацию для клиентов в актуальном состоянии
Требования
- Практический опыт устранения неполадок Linux через командную строку, включая работу с журналами, процессами, сетями и дисками
- Рабочее знание подов, узлов, развертываний, сервисов, планирования и анализа сбоев Kubernetes
- Умение автоматизировать повторяющиеся задачи с помощью Python или Bash
- Навыки технического письма и способность понятно объяснять проблемы клиентам
- Умение здраво оценивать ситуацию под давлением, расставлять приоритеты, эскалировать проблемы и сообщать о них
- Готовность участвовать в круглосуточном дежурстве по графику
- Опыт работы с NVIDIA GPU в промышленной среде, драйверами, CUDA, DCGM и плагином устройств Kubernetes будет преимуществом
- Опыт работы с высокопроизводительными сетями InfiniBand, RoCE или NCCL будет преимуществом
- Опыт работы с HPC или Slurm будет преимуществом
- Опыт технической работы с клиентами в инженерной поддержке, управлении техническими клиентскими аккаунтами, технических решениях или профессиональных услугах будет преимуществом
- Знакомство с Prometheus, Grafana, Datadog или аналогичными инструментами будет преимуществом
- Опыт работы с инфраструктурой как кодом, например Terraform, Ansible или Helm, будет преимуществом
- Интерес к инфраструктуре ИИ и крупномасштабным заданиям обучения моделей
Преимущества
- Значимая доля в капитале компании
- Медицинская, стоматологическая и офтальмологическая страховка для сотрудников и их иждивенцев
- План 401(k)
- Неограниченный оплачиваемый отпуск
- Возможность работать в быстрорастущей компании, специализирующейся на инфраструктуре ИИ