Cerebras розробляє апаратне забезпечення для ШІ на основі технології Wafer-Scale та інтегроване програмне забезпечення для високопродуктивного навчання й виконання моделей. Її Wafer-Scale Engine використовується в системі CS-3 і хмарному сервісі Cerebras Inference Cloud, який підтримує робочі процеси, сумісні з OpenAI API, а також розгортання в локальній інфраструктурі, хмарних і периферійних середовищах. Платформа компанії призначена для таких завдань, як обслуговування моделей, донавчання, попереднє навчання, робота ШІ-агентів у реальному часі, геноміка, розробка ліків, кібербезпека та корпоративний пошук. Cerebras поєднує спеціалізовані чипи, системи й програмне забезпечення для організацій, які створюють та експлуатують вимогливі рішення на основі штучного інтелекту; у компанії працює від 501 до 1 000 співробітників.
Інженер із відображення алгоритмів машинного навчання та продуктивності, Core ML
Відображайте алгоритми навчання та інференсу машинного навчання на архітектуру чипів Cerebras AI. Моделюйте вузькі місця продуктивності, тестуйте системи та беріть участь у спільному проєктуванні апаратного й програмного забезпечення.
Опис
- Створювати аналітичні та емпіричні моделі продуктивності для сучасних алгоритмів навчання й інференсу ML
- Оцінювати асимптотичну поведінку та алгоритмічні компроміси залежно від розміру моделі, довжини послідовності, розміру пакета, паралелізму та масштабу апаратного забезпечення
- Розробляти фронти Парето, що охоплюють якість моделі, затримку, пропускну здатність, обсяг пам’яті, комунікації та обчислювальні витрати
- Створювати прототипи й тести для Cerebras WSE, а також відповідні базові реалізації на GPU та програмні еталони
- Досліджувати поведінку системи, щоб знаходити вузькі місця в ядрах, компіляторі, середовищі виконання, комунікаціях та алгоритмах
- Оцінювати нові методи, зокрема паралельну генерацію токенів, дифузійне та спекулятивне декодування, механізми уваги, розрідженість, суміші експертів, обчислення з низькою точністю та розподілене навчання
- Співпрацювати з командами досліджень, ядер, компілятора, середовища виконання, інференсу й архітектури під час визначення пріоритетів реалізації та спільного проєктування
- Створювати інструменти й візуалізації для прогнозування продуктивності, аналізу вимірювань і порівняння проєктних компромісів
- Представляти висновки, припущення, обмеження та рекомендації в технічних звітах, презентаціях і під час проєктних обговорень
- Формувати дослідницькі пріоритети Core ML, рішення щодо реалізації та майбутні можливості апаратного й програмного забезпечення
Вимоги
- Ступінь бакалавра, магістра або доктора чи еквівалентний практичний досвід у галузі інформатики, комп’ютерної інженерії, електротехніки, математики або суміжної дисципліни
- Глибокі знання комп’ютерної архітектури, паралельних обчислень і продуктивності систем
- Ґрунтовне розуміння основ машинного навчання та ML-систем
- Досвід аналітичного моделювання продуктивності, аналізу алгоритмічної складності, бенчмаркінгу або симуляції систем
- Підтверджені аналітичні навички та здатність розв’язувати складні задачі
- Впевнене володіння Python і робоче знання C++
- Досвід профілювання та налагодження продуктивності в ML-, HPC-, CPU-, GPU- або прискорювальних системах
- Здатність поєднувати математичний аналіз, експериментальну перевірку та практичні інженерні рекомендації
- Бажано: досвід roofline-аналізу, роботи із симуляторами CPU або GPU, оптимізації ядер чи спільного проєктування апаратного й програмного забезпечення
- Бажано: знайомство з CUDA, Triton, PyTorch, JAX або системами навчання й інференсу LLM з відкритим кодом
- Бажано: знання внутрішньої будови трансформерів, варіантів механізмів уваги, стратегій KV-кешу, паралелізму моделей, розрідженості, квантування та паралельної генерації
- Бажано: наукові публікації, патенти або вагомий внесок у проєкти з відкритим кодом у галузі ML-систем, комп’ютерної архітектури чи обчислювальної ефективності
- Бажано: досвід оцінювання технологічних рішень для майбутніх архітектур апаратного або програмного забезпечення
Переваги
- Можливість публікувати результати передових досліджень у сфері ШІ та відкривати вихідний код
- Робота з одним із найшвидших у світі суперкомп’ютерів для ШІ
- Енергійна атмосфера стартапу в поєднанні зі стабільністю роботи
- Пряма, неформальна корпоративна культура, що поважає індивідуальні переконання
- Постійні можливості для навчання, розвитку та підтримки
- Відданість рівноправному й різноманітному робочому середовищу