Andromeda udostępnia moc obliczeniową GPU zespołom, które tworzą i uruchamiają zadania związane z uczeniem maszynowym. Usługa zapewnia dostęp na żądanie do klastrów akceleratorów NVIDIA H100, H200 i B200 na potrzeby eksperymentów, trenowania modeli i wnioskowania. Do orkiestracji można używać Slurm, Kubernetes lub SSH. Klienci mogą wybierać elastyczne opcje korzystania z zasobów i przechowywania danych, a zespół Andromeda zapewnia wsparcie DevOps. Firma prowadzi również GPUList.ai, zewnętrzny marketplace GPU. Dostępny profil nie zawiera informacji o rekrutacji ani szczegółów dotyczących zespołu.
Starszy inżynier ds. niezawodności klientów, praca zdalna w Europie
Rozwiązuj incydenty klientów w systemach Linux, Kubernetes i klastrach GPU oraz dbaj o niezawodność infrastruktury obliczeniowej Andromeda dla AI. Rola obejmuje reagowanie na incydenty, współpracę z dostawcami, monitorowanie i automatyzację operacyjną.
Opis
- Prowadź zgłoszenia klientów od odtworzenia problemu przez jego rozwiązanie i eskalację aż po zamknięcie
- Diagnozuj problemy z systemem Linux dotyczące procesów, sieci, pamięci masowej, dzienników jądra, rywalizacji o zasoby, systemd i journald
- Analizuj awarie Kubernetes związane z podami, stanem węzłów, harmonogramowaniem i limitami zasobów
- Rozwiązuj problemy z GPU, takie jak awarie sterowników i wtyczek urządzeń, błędy XID, ograniczanie wydajności z powodu temperatury, blokowanie lub opróżnianie węzłów oraz awarie zadań obejmujących wiele węzłów
- W razie potrzeby eskaluj problemy, dostarczając materiały potwierdzające
- Bierz udział w całodobowym dyżurze zgodnie z harmonogramem
- Reaguj na alerty i zgłoszone przez klientów awarie, oceniaj ich wpływ, ustalaj poziom ważności i angażuj odpowiednie zespoły
- Informuj klientów o przebiegu incydentów, ich statusie i nierozstrzygniętych kwestiach
- Dokumentuj incydenty i wykorzystuj wnioski do tworzenia instrukcji, alertów lub poprawek
- Ustalaj, czy źródłem awarii jest dostawca, Andromeda czy klient
- Twórz zgłoszenia do pomocy technicznej dostawców mocy obliczeniowej i monitoruj ich realizację
- Monitoruj powtarzające się awarie u dostawców i przekazuj informacje o wzorcach osobom podejmującym decyzje dotyczące wyboru dostawców
- Automatyzuj ręczne kontrole za pomocą Python lub Bash
- Opracowuj i ulepszaj monitorowanie stanu klastrów i węzłów, telemetrię GPU, pulpity nawigacyjne oraz przydatne alerty
- Dbaj o aktualność instrukcji i dokumentacji dla klientów
Wymagania
- Praktyczne umiejętności diagnozowania problemów z systemem Linux w wierszu poleceń, w tym pracy z dziennikami, procesami, siecią i dyskami
- Znajomość podów, węzłów, wdrożeń, usług, harmonogramowania i analizy awarii w Kubernetes
- Umiejętność automatyzowania powtarzalnych zadań za pomocą Python lub Bash
- Dobre umiejętności pisania dokumentacji technicznej i jasnego wyjaśniania problemów klientom
- Umiejętność podejmowania trafnych decyzji pod presją przy ustalaniu priorytetów, eskalowaniu i przekazywaniu informacji
- Gotowość do pełnienia całodobowego dyżuru zgodnie z harmonogramem
- Doświadczenie z produkcyjnymi środowiskami NVIDIA GPU, sterownikami, CUDA, DCGM i wtyczką urządzeń Kubernetes będzie dodatkowym atutem
- Doświadczenie z sieciami wysokiej wydajności InfiniBand, RoCE lub NCCL będzie dodatkowym atutem
- Doświadczenie z HPC lub Slurm będzie dodatkowym atutem
- Doświadczenie w pracy technicznej z klientami w obszarze wsparcia inżynieryjnego, zarządzania klientami technicznymi, rozwiązań lub usług profesjonalnych będzie dodatkowym atutem
- Znajomość Prometheus, Grafana, Datadog lub podobnych narzędzi będzie dodatkowym atutem
- Doświadczenie z infrastrukturą jako kodem, na przykład Terraform, Ansible lub Helm, będzie dodatkowym atutem
- Zainteresowanie infrastrukturą AI i trenowaniem modeli na dużą skalę
Benefity
- Znaczący udział w kapitale firmy
- Ubezpieczenie zdrowotne, dentystyczne i okulistyczne dla pracowników oraz osób pozostających na ich utrzymaniu
- Plan 401(k)
- Nielimitowany płatny urlop
- Możliwość pracy w szybko rozwijającej się firmie skupionej na infrastrukturze AI