Cerebras разрабатывает ИИ-оборудование на основе технологии Wafer-Scale и интегрированное программное обеспечение для высокопроизводительного обучения и вывода моделей. Ее Wafer-Scale Engine используется в системе CS-3 и облаке Cerebras Inference Cloud, которое поддерживает совместимые с OpenAI API рабочие процессы и развертывание в локальной инфраструктуре, облачных и периферийных средах. Платформа компании предназначена для таких задач, как обслуживание моделей, дообучение, предварительное обучение, работа ИИ-агентов в реальном времени, геномика, разработка лекарств, кибербезопасность и корпоративный поиск. Cerebras объединяет специализированные чипы, системы и программное обеспечение для организаций, которые создают и эксплуатируют ресурсоемкие решения на основе искусственного интеллекта; в компании работает от 501 до 1 000 сотрудников.
Инженер по машинному обучению, запуск моделей
Запускайте трансформерные модели на ускорителях Cerebras AI и оптимизируйте их производительность при инференсе. Разрабатывайте компиляторные пути MLIR, повышая корректность моделей, задержку, пропускную способность и эффективность использования памяти.
Описание
- Выводите новые модели в эксплуатацию: анализируйте архитектуры, конвертируйте веса, реализуйте пути выполнения и проверяйте результаты по эталонным реализациям.
- Понижайте модели для оборудования Cerebras с помощью диалектов MLIR, преобразований графов, проходов понижения и отображения на специализированные аппаратные возможности.
- Поддерживайте attention, умножение матриц, нормализацию, позиционные эмбеддинги и другие операторы посредством разработки компилятора и ядер.
- Оптимизируйте слияние операторов, размещение тензоров, тайлинг, выделение памяти, перемещение данных и параллельное выполнение.
- Повышайте производительность этапов prefill и decode, настраивая управление KV-кэшем, пакетную обработку и квантизацию для улучшения задержки, пропускной способности и использования памяти.
- Анализируйте численные расхождения и оценивайте влияние изменений точности и оптимизаций компилятора на точность результатов.
- Используйте профилировщики, трассировки выполнения и аппаратные счётчики для поиска узких мест в вычислениях, памяти, коммуникациях и среде выполнения.
- Сотрудничайте с командами аппаратного обеспечения, компилятора, ядер и среды выполнения, обеспечивая надёжную поддержку моделей и воспроизводимые бенчмарки производительности.
Требования
- Уверенное владение программированием на C++ и Python.
- Практический опыт запуска и отладки моделей машинного обучения в PyTorch или сопоставимом фреймворке.
- Практический опыт работы с MLIR, включая диалекты, шаблоны переписывания, проходы преобразований и конвейеры понижения.
- Знание основ компиляторов, включая промежуточные представления, анализ потоков данных и генерацию кода.
- Понимание архитектур трансформеров, механизмов attention, тензорных операций и численной точности.
- Опыт профилирования и оптимизации нагрузок на GPU или других ускорителях ИИ.
- Способность диагностировать проблемы корректности и производительности на уровнях кода модели, вывода компилятора, ядер и выполнения в среде исполнения.
- Опыт инференса больших языковых моделей, включая GQA, attention со скользящим окном, mixture-of-experts, KV-кэширование и спекулятивное декодирование.
- Опыт работы с FP16, BF16, FP8 или низкоразрядной квантизацией и понимание компромиссов между точностью и производительностью.
- Опыт разработки ядер для ускорителей или аппаратно-специализированных бэкендов компилятора.
- Знакомство с распределённым выполнением, параллелизмом моделей и иерархиями памяти ускорителей.
- Участие в разработке MLIR, LLVM, фреймворков инференса или связанных проектов с открытым исходным кодом.
Преимущества
- Стабильная работа в среде со скоростью стартапа.
- Возможности публиковать результаты и открывать исходный код передовых исследований в области ИИ.
- Работа с одним из самых быстрых суперкомпьютеров для ИИ в мире.
- Простая, некорпоративная культура, уважающая личные убеждения.
- Постоянное обучение, профессиональный рост и поддержка.
- Равноправная и разнообразная рабочая среда.