Aleph Alpha to firma zajmująca się badaniami i zastosowaniami sztucznej inteligencji. Opracowuje wielkoskalowe modele do przetwarzania języka, danych obrazowych i rozumowania strategicznego. Siedziba firmy znajduje się w Heidelbergu w Niemczech. Aleph Alpha koncentruje się na przekładaniu zaawansowanych badań nad AI na rozwiązania operacyjne oraz wspieraniu cyfrowej suwerenności Europy. Jej działalność odpowiada na potrzeby biznesowe i organizacyjne w sektorze technologii B2B.
Starszy badacz AI, wstępne trenowanie modeli bazowych — Aleph Alpha, Heidelberg
Kieruj pracami nad architekturą i trenowaniem na dużą skalę europejskich modeli bazowych Aleph Alpha, kształtując metody treningu na tysiącach procesorów GPU. Twórz i doskonal przepisy treningowe w PyTorch wraz z hybrydowym zespołem z Heidelbergu.
Opis
- Opracowuj architektury i metody trenowania kolejnej generacji modeli bazowych Aleph Alpha.
- Kieruj kluczowymi elementami przepisów treningowych, w tym optymalizatorami, harmonogramami i inicjalizacją.
- Twórz ulepszenia architektury w PyTorch, które zwiększają zbieżność, stabilność i wydajność treningu.
- Wyznaczaj prawa skalowania hiperparametrów i metody skalowania przebiegów treningowych.
- Przeprowadzaj niewielkie eksperymenty proxy, aby prognozować zachowanie modeli na tysiącach procesorów GPU i ograniczać ryzyko treningu.
- Diagnozuj problemy ze zbieżnością, w tym skoki funkcji straty i rozbieżność.
- Rozwiązuj problemy z treningiem rozproszonym, takie jak wąskie gardła komunikacyjne, wyścigi i błędy synchronizacji.
- Współpracuj z zespołami ds. wydajności obliczeniowej, danych, ewaluacji i post-treningu przy wspólnym projektowaniu systemów i modeli.
- Wykorzystuj analizę matematyczną i wyniki eksperymentów do podejmowania uzasadnionych decyzji dotyczących treningu.
- Dostarczaj kod jakości produkcyjnej, który poprawia jakość modeli, niezawodność przebiegów i wydajność.
Wymagania
- Biegła znajomość Pythona i bardzo dobra znajomość procesów trenowania w PyTorch.
- Udokumentowane doświadczenie w badaniach nad uczeniem maszynowym i inżynierii oprogramowania, potwierdzone wdrożonymi modelami, znaczącym wkładem w projekty open source lub opublikowanymi badaniami.
- Solidne podstawy matematyczne i umiejętność formalnego rozumowania o optymalizacji, skalowaniu i dynamice treningu.
- Dogłębna znajomość dynamiki trenowania transformerów, optymalizacji i dużych rozproszonych przebiegów treningowych.
- Umiejętność projektowania rygorystycznych eksperymentów i wykorzystywania ich wyników do podejmowania uzasadnionych decyzji treningowych.
- Praktyczne doświadczenie we wstępnym trenowaniu dużych modeli, np. modeli o co najmniej 7 mld parametrów, na rozbudowanej infrastrukturze, np. klastrach obejmujących co najmniej 100 procesorów GPU.
- Dobre praktyki inżynierii oprogramowania, w tym łatwy w utrzymaniu, dobrze przetestowany kod oraz powtarzalne eksperymenty.
- Umiejętność wydajnego i niezawodnego wdrażania złożonych architektur oraz debugowania kodu modeli, przebiegu treningu i systemów rozproszonych.
- Jasna komunikacja i skuteczna współpraca między zespołami.
- Prawo do pracy w Niemczech i możliwość regularnej współpracy na miejscu w Heidelbergu.
- Mile widziane: doświadczenie w trenowaniu LLM-ów lub modeli multimodalnych na dużych klastrach GPU z użyciem rozproszonych frameworków, takich jak Megatron-LM, DeepSpeed lub torchtitan.
- Mile widziane: znajomość praw skalowania, przenoszenia hiperparametrów lub prognozowania zachowania treningu na dużą skalę na podstawie przebiegów proxy.
- Mile widziane: doświadczenie w profilowaniu zadań rozproszonych i diagnozowaniu anomalii treningowych.
- Mile widziane: znajomość rzadkich metod treningowych, takich jak Mixture-of-Experts.
- Mile widziane: publikacje w czołowych czasopismach lub na konferencjach, znaczący wkład w projekty open source albo istotne wdrożone rozwiązania techniczne.
Benefity
- 30 dni płatnego urlopu wypoczynkowego rocznie.
- Dostęp do oferty fitness i wellness za pośrednictwem Wellhub.
- Wsparcie w zakresie zdrowia psychicznego za pośrednictwem nilo.health.
- Znaczne dofinansowanie firmowego programu emerytalnego.
- Dofinansowany bilet na transport publiczny w całych Niemczech.
- Budżet na dodatkowy sprzęt techniczny.
- Elastyczne godziny pracy.
- Hybrydowy model pracy.
- Leasing rowerów JobRad®.