Cerebras разрабатывает ИИ-оборудование на основе технологии Wafer-Scale и интегрированное программное обеспечение для высокопроизводительного обучения и вывода моделей. Ее Wafer-Scale Engine используется в системе CS-3 и облаке Cerebras Inference Cloud, которое поддерживает совместимые с OpenAI API рабочие процессы и развертывание в локальной инфраструктуре, облачных и периферийных средах. Платформа компании предназначена для таких задач, как обслуживание моделей, дообучение, предварительное обучение, работа ИИ-агентов в реальном времени, геномика, разработка лекарств, кибербезопасность и корпоративный поиск. Cerebras объединяет специализированные чипы, системы и программное обеспечение для организаций, которые создают и эксплуатируют ресурсоемкие решения на основе искусственного интеллекта; в компании работает от 501 до 1 000 сотрудников.
Инженер по отображению алгоритмов машинного обучения и производительности, Core ML
Отображайте алгоритмы обучения и инференса машинного обучения на архитектуру чипов Cerebras AI. Моделируйте узкие места производительности, тестируйте системы и участвуйте в совместном проектировании аппаратного и программного обеспечения.
Описание
- Создавать аналитические и эмпирические модели производительности для современных алгоритмов обучения и инференса ML
- Оценивать асимптотическое поведение и алгоритмические компромиссы в зависимости от размера модели, длины последовательности, размера пакета, параллелизма и масштаба аппаратуры
- Разрабатывать фронты Парето, охватывающие качество модели, задержку, пропускную способность, объём памяти, коммуникации и вычислительные затраты
- Создавать прототипы и тесты для Cerebras WSE, а также соответствующие базовые реализации на GPU и программные эталоны
- Исследовать поведение системы, чтобы находить узкие места в ядрах, компиляторе, среде выполнения, коммуникациях и алгоритмах
- Оценивать новые методы, такие как параллельная генерация токенов, диффузионное и спекулятивное декодирование, механизмы внимания, разреженность, смеси экспертов, вычисления с низкой точностью и распределённое обучение
- Сотрудничать с командами исследований, ядер, компилятора, среды выполнения, инференса и архитектуры при определении приоритетов реализации и совместного проектирования
- Создавать инструменты и визуализации для прогнозирования производительности, анализа измерений и сравнения проектных компромиссов
- Представлять выводы, допущения, ограничения и рекомендации в технических отчётах, презентациях и на проектных обсуждениях
- Формировать исследовательские приоритеты Core ML, решения по реализации и будущие возможности аппаратного и программного обеспечения
Требования
- Степень бакалавра, магистра или доктора либо сопоставимый практический опыт в области информатики, компьютерной инженерии, электротехники, математики или смежной дисциплины
- Глубокие знания компьютерной архитектуры, параллельных вычислений и производительности систем
- Хорошее понимание основ машинного обучения и ML-систем
- Опыт аналитического моделирования производительности, анализа алгоритмической сложности, бенчмаркинга или моделирования систем
- Подтверждённые аналитические навыки и способность решать сложные задачи
- Уверенное владение Python и рабочее знание C++
- Опыт профилирования и отладки производительности в ML-, HPC-, CPU-, GPU- или ускорительных системах
- Способность связывать математический анализ, экспериментальную проверку и практические инженерные рекомендации
- Желательно: опыт roofline-анализа, работы с симуляторами CPU или GPU, оптимизации ядер либо совместного проектирования аппаратного и программного обеспечения
- Желательно: знакомство с CUDA, Triton, PyTorch, JAX или системами обучения и инференса LLM с открытым исходным кодом
- Желательно: знание внутреннего устройства трансформеров, вариантов механизмов внимания, стратегий KV-кэша, параллелизма моделей, разреженности, квантования и параллельной генерации
- Желательно: научные публикации, патенты или существенный вклад в проекты с открытым исходным кодом в области ML-систем, компьютерной архитектуры или вычислительной эффективности
- Желательно: опыт оценки технологических решений для будущих архитектур аппаратного или программного обеспечения
Преимущества
- Возможность публиковать результаты передовых исследований в области ИИ и открывать исходный код
- Работа с одним из самых быстрых в мире суперкомпьютеров для ИИ
- Энергичная атмосфера стартапа в сочетании со стабильностью работы
- Прямая, неформальная корпоративная культура, уважающая индивидуальные убеждения
- Постоянные возможности для обучения, развития и поддержки
- Приверженность равноправной и разнообразной рабочей среде