Aleph Alpha е компания за изследвания и приложения на изкуствения интелект, която разработва мащабни модели за език, визуални данни и стратегическо разсъждение. Базирана в Хайделберг, Германия, компанията се фокусира върху превръщането на авангардните изследвания в областта на изкуствения интелект в оперативни системи, като същевременно подкрепя цифровия суверенитет на Европа. Работата ѝ обслужва бизнес и организационни случаи на употреба в сектора на B2B технологиите.
Старши изследовател в областта на изкуствения интелект, предварително обучение на фундаментални модели — Aleph Alpha, Хайделберг
Ръководете разработването на архитектури и предварителното обучение в голям мащаб за европейските фундаментални модели на Aleph Alpha и оформяйте методите за обучение с хиляди графични процесори. Създавайте и усъвършенствайте рецепти за обучение в PyTorch с хибридния екип в Хайделберг.
Описание
- Разработвайте архитектури и методи за обучение за следващото поколение фундаментални модели на Aleph Alpha.
- Ръководете основните компоненти на рецептите за обучение, включително оптимизатори, графици и инициализация.
- Създавайте подобрения в архитектурата на PyTorch, които повишават сходимостта, стабилността и ефективността на обучението.
- Установявайте закономерности за мащабиране на хиперпараметрите и методи за увеличаване на мащаба на обученията.
- Провеждайте малки proxy експерименти, за да прогнозирате поведението при хиляди графични процесори и да намалите риска при обучението.
- Диагностицирайте проблеми със сходимостта, включително резки скокове на загубата и разходимост.
- Отстранявайте неизправности при разпределено обучение, като комуникационни тесни места, състезателни условия и грешки в синхронизацията.
- Работете с екипите Compute Performance, Data, Evaluation и Post-Training по съвместното проектиране на системи и модели.
- Превръщайте математическия анализ и експерименталните доказателства в обосновани решения за обучението.
- Доставяйте код с производствено качество, който подобрява качеството на моделите, надеждността на изпълненията и ефективността.
Изисквания
- Владеете Python и имате солидни познания за работните процеси за обучение с PyTorch.
- Имате доказан опит в изследванията на машинното обучение и софтуерното инженерство, демонстриран чрез внедрени модели, влиятелна работа с отворен код или публикувани изследвания.
- Имате солидна математическа подготовка и умеете формално да разсъждавате за оптимизацията, поведението при мащабиране и динамиката на обучението.
- Познавате задълбочено динамиката на обучението на трансформъри, оптимизацията и мащабните разпределени обучения.
- Умеете да проектирате строги експерименти и да използвате резултатите им за надеждни решения относно обучението.
- Имате практически опит с предварително обучение на големи модели, например модели със 7B или повече параметъра, върху значителна инфраструктура, като клъстери със 100 или повече графични процесора.
- Прилагате добри практики в софтуерното инженерство, включително поддържаем, добре тестван код и възпроизводими експерименти.
- Умеете ефективно и надеждно да внедрявате сложни архитектури и да отстранявате проблеми в кода на моделите, поведението при обучение и разпределените системи.
- Общувате ясно и си сътрудничите ефективно с различни екипи.
- Имате право да работите в Германия и сте на разположение за редовна работа на място в Хайделберг.
- Предимство е опитът с обучението на LLM или мултимодални модели върху големи GPU клъстери с разпределени рамки като Megatron-LM, DeepSpeed или torchtitan.
- Предимство са познанията за закономерностите на мащабирането, преноса на хиперпараметри или прогнозирането на поведението при мащабно обучение въз основа на proxy изпълнения.
- Предимство е опитът с профилиране на разпределени задачи и диагностициране на аномалии в обучението.
- Предимство са познанията за разредени методи за обучение като Mixture-of-Experts.
- Предимство са публикации във водещи издания, влиятелни приноси към проекти с отворен код или значима техническа работа, внедрена в реални системи.
Придобивки
- 30 дни платен годишен отпуск.
- Достъп до фитнес и уелнес услуги чрез Wellhub.
- Подкрепа за психичното здраве чрез nilo.health.
- Значително субсидиран фирмен пенсионен план.
- Субсидирана транспортна карта с национално покритие в Германия.
- Бюджет за допълнително техническо оборудване.
- Гъвкаво работно време.
- Хибриден режим на работа.
- Лизинг на велосипед JobRad®.