Aleph Alpha — компанія, що займається дослідженнями та прикладними розробками у сфері штучного інтелекту. Вона створює масштабні моделі для роботи з мовою, зображеннями та стратегічним міркуванням. Штаб-квартира компанії розташована в Гайдельберзі, Німеччина. Aleph Alpha зосереджується на перетворенні передових досліджень у галузі ШІ на практичні системи та підтримці цифрового суверенітету Європи. Її робота охоплює бізнес-завдання й організаційні сценарії використання в секторі B2B-технологій.
Старший дослідник у сфері ШІ, попереднє навчання базових моделей — Aleph Alpha, Гайдельберг
Керуйте розробкою архітектури та масштабним попереднім навчанням базових моделей Aleph Alpha для Європи, формуючи методи навчання на тисячах GPU. Створюйте й удосконалюйте рецепти навчання на PyTorch разом із гібридною командою в Гайдельберзі.
Опис
- Розробляйте архітектури та методи навчання для наступного покоління базових моделей Aleph Alpha.
- Керуйте ключовими компонентами рецептів навчання, зокрема оптимізаторами, розкладами та ініціалізацією.
- Створюйте вдосконалення архітектури на PyTorch, що підвищують збіжність, стабільність і ефективність навчання.
- Визначайте закони масштабування гіперпараметрів і методи масштабування запусків навчання.
- Проводьте невеликі проксі-експерименти, щоб прогнозувати поведінку моделей на тисячах GPU і зменшувати ризики навчання.
- Діагностуйте проблеми зі збіжністю, зокрема стрибки функції втрат і розбіжність.
- Усувайте збої розподіленого навчання, як-от вузькі місця в комунікаціях, змагання потоків і помилки синхронізації.
- Співпрацюйте з командами обчислювальної продуктивності, даних, оцінювання та постнавчання над спільним проєктуванням систем і моделей.
- Перетворюйте математичний аналіз та експериментальні дані на обґрунтовані рішення щодо навчання.
- Створюйте готовий до промислового використання код, що покращує якість моделей, надійність запусків і ефективність.
Вимоги
- Впевнене володіння Python і ґрунтовне знання робочих процесів навчання на PyTorch.
- Підтверджений досвід досліджень у машинному навчанні та розробки програмного забезпечення: випущені моделі, впливові проєкти з відкритим кодом або опубліковані дослідження.
- Ґрунтовна математична підготовка та здатність формально аналізувати оптимізацію, масштабування й динаміку навчання.
- Глибоке знання динаміки навчання трансформерів, оптимізації та масштабних розподілених запусків навчання.
- Здатність проєктувати ретельні експерименти й використовувати їхні результати для обґрунтованих рішень щодо навчання.
- Практичний досвід попереднього навчання великих моделей, наприклад моделей із 7 млрд параметрів або більше, на значній інфраструктурі, як-от кластери зі 100 GPU або більше.
- Належні інженерні практики, зокрема код, який легко підтримувати й добре протестовано, та відтворювані експерименти.
- Здатність ефективно й надійно реалізовувати складні архітектури, а також налагоджувати код моделей, поведінку навчання та розподілені системи.
- Чітка комунікація та ефективна співпраця між командами.
- Право на роботу в Німеччині та готовність регулярно співпрацювати на місці в Гайдельберзі.
- Буде перевагою: досвід навчання LLM або мультимодальних моделей на великих кластерах GPU із розподіленими фреймворками, як-от Megatron-LM, DeepSpeed або torchtitan.
- Буде перевагою: знання законів масштабування, перенесення гіперпараметрів або прогнозування поведінки масштабного навчання за проксі-запусками.
- Буде перевагою: досвід профілювання розподілених завдань і діагностування аномалій навчання.
- Буде перевагою: знайомство з розрідженими методами навчання, як-от Mixture-of-Experts.
- Буде перевагою: публікації у провідних виданнях, впливовий внесок у проєкти з відкритим кодом або значні реалізовані технічні напрацювання.
Переваги
- 30 днів оплачуваної щорічної відпустки.
- Доступ до фітнес- і оздоровчих програм через Wellhub.
- Підтримка психічного здоров’я через nilo.health.
- Значне субсидування корпоративної пенсійної програми.
- Субсидований квиток на громадський транспорт по всій Німеччині.
- Бюджет на додаткове технічне обладнання.
- Гнучкий робочий графік.
- Гібридний формат роботи.
- Лізинг велосипедів JobRad®.