Инженер-исследователь алгоритмов для аппаратного ускорения инференса больших языковых моделей
Разрабатывайте алгоритмы инференса больших языковых моделей для внутрипамятной ИИ-системы Normal Computing. Совместно с командами аппаратного обеспечения и архитектуры создавайте численные методы, тесты и прототипы.
Описание
- Разрабатывайте алгоритмы для задач инференса больших языковых моделей на внутрипамятном оборудовании.
- Сотрудничайте с командами аппаратного обеспечения и архитектуры над совместным проектированием программного и аппаратного обеспечения.
- Создавайте численные методы, использующие тепловой шум и аналоговую динамику.
- Создавайте системы оценки и тесты для симуляций и физического оборудования.
- Преобразуйте выводы о рабочих нагрузках моделей в ограничения и возможности проектирования оборудования.
- Создавайте и совершенствуйте прототипы алгоритмов по мере перехода оборудования от симуляции к кремниевым чипам.
- Повышайте производительность на уровне как логических элементов, так и алгоритмов.
- Проверяйте алгоритмы с помощью симуляторов, прототипов на ПЛИС и кремниевых чипов по мере их доступности.
Требования
- Глубокое знание инференса больших моделей, включая механизмы внимания, кэш KV, декодирование длинного контекста и ограничения пропускной способности памяти.
- Опыт ускорения инференса с помощью таких методов, как квантование, разреженность, объединение ядер или эффективное использование памяти в механизмах внимания.
- Знакомство со стохастическими системами, вероятностными методами, численным анализом или аналоговыми вычислениями.
- Опыт реализации алгоритмов на низком уровне, близком к аппаратному обеспечению, а не только с помощью высокоуровневых фреймворков.
- Умение рассуждать с первых принципов о новых вычислительных платформах.
- Подтверждённый опыт воплощения идей — от теории до реализации на реальном оборудовании.
- Уверенное владение Python и одним из языков системного программирования.
- Умение сотрудничать с командами аппаратного обеспечения, архитектуры и программного обеспечения.
- Докторская степень в области машинного обучения, прикладной математики, физики, электротехники или смежной области будет преимуществом.
- Знакомство с аналоговыми или смешанными сигнальными системами, внутрипамятными вычислениями или архитектурами, отличными от фон-неймановских, будет преимуществом.
- Опыт работы с оборудованием, которое ещё разрабатывалось на момент вашего прихода, будет преимуществом.
- Публикации или вклад в проекты с открытым исходным кодом по эффективному инференсу, стохастическим алгоритмам или новым вычислительным подходам будут преимуществом.
Преимущества
- Инклюзивная рабочая среда и приверженность разнообразию.
- Разумные условия труда для людей с инвалидностью.
- Гарантии равных возможностей при трудоустройстве.
Похожие вакансии
Вакансии не найдены
Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.