Aleph Alpha — компания, занимающаяся исследованиями и прикладными разработками в области искусственного интеллекта. Она создаёт масштабные модели для работы с языком, изображениями и стратегическим мышлением. Штаб-квартира компании находится в Гейдельберге, Германия. Aleph Alpha стремится превращать передовые исследования в области ИИ в практические системы и поддерживать цифровой суверенитет Европы. Её решения предназначены для бизнес-задач и организационных сценариев использования в секторе B2B-технологий.
Старший исследователь в области ИИ, предварительное обучение базовых моделей — Aleph Alpha, Гейдельберг
Руководите разработкой архитектуры и предварительным обучением базовых моделей Aleph Alpha в европейском масштабе, формируя методы обучения для тысяч GPU. Создавайте и совершенствуйте рецепты обучения на PyTorch вместе с гибридной командой в Гейдельберге.
Описание
- Разрабатывайте архитектуры и методы обучения для следующего поколения базовых моделей Aleph Alpha.
- Руководите ключевыми компонентами рецептов обучения, включая оптимизаторы, расписания и инициализацию.
- Создавайте улучшения архитектуры на PyTorch, повышающие сходимость, стабильность и эффективность обучения.
- Устанавливайте законы масштабирования гиперпараметров и методы масштабирования запусков обучения.
- Проводите небольшие прокси-эксперименты, чтобы прогнозировать поведение моделей на тысячах GPU и снижать риски обучения.
- Диагностируйте проблемы со сходимостью, включая скачки функции потерь и расходимость.
- Устраняйте сбои распределённого обучения, например узкие места коммуникации, гонки и ошибки синхронизации.
- Сотрудничайте с командами вычислительной производительности, данных, оценки и постобучения над совместным проектированием систем и моделей.
- Используйте математический анализ и экспериментальные данные для обоснованных решений по обучению.
- Создавайте готовый к промышленной эксплуатации код, повышающий качество моделей, надёжность запусков и эффективность.
Требования
- Уверенное владение Python и глубокое знакомство с процессами обучения на PyTorch.
- Подтверждённый опыт исследований в машинном обучении и разработки программного обеспечения: выпущенные модели, влиятельные проекты с открытым исходным кодом или опубликованные исследования.
- Сильная математическая подготовка и способность формально рассуждать об оптимизации, масштабировании и динамике обучения.
- Глубокое знание динамики обучения трансформеров, оптимизации и крупных распределённых запусков обучения.
- Умение проектировать строгие эксперименты и использовать их результаты для обоснованных решений по обучению.
- Практический опыт предварительного обучения крупных моделей, например моделей с 7 млрд параметров и более, на значительной инфраструктуре, например кластерах со 100 GPU и более.
- Надёжные инженерные практики, включая поддерживаемый, хорошо протестированный код и воспроизводимые эксперименты.
- Умение эффективно и надёжно реализовывать сложные архитектуры, а также отлаживать код моделей, процесс обучения и распределённые системы.
- Умение ясно излагать мысли и эффективно сотрудничать с другими командами.
- Право на работу в Германии и готовность регулярно работать совместно с командой на площадке в Гейдельберге.
- Будет преимуществом: опыт обучения LLM или мультимодальных моделей на крупных кластерах GPU с распределёнными фреймворками, например Megatron-LM, DeepSpeed или torchtitan.
- Будет преимуществом: знакомство с законами масштабирования, переносом гиперпараметров или прогнозированием поведения обучения в крупном масштабе по прокси-запускам.
- Будет преимуществом: опыт профилирования распределённых задач и диагностики аномалий обучения.
- Будет преимуществом: знакомство с разреженными методами обучения, например Mixture-of-Experts.
- Будет преимуществом: публикации в ведущих изданиях, значимый вклад в проекты с открытым исходным кодом или существенные реализованные технические проекты.
Преимущества
- 30 дней оплачиваемого ежегодного отпуска.
- Доступ к фитнес- и оздоровительным программам через Wellhub.
- Поддержка психического здоровья через nilo.health.
- Существенная субсидия на корпоративную пенсионную программу.
- Субсидированный проездной на общественный транспорт по всей Германии.
- Бюджет на дополнительное техническое оборудование.
- Гибкий график работы.
- Гибридный формат работы.
- Лизинг велосипедов JobRad®.