Baseten надає інфраструктуру для інференсу моделей компаніям, які розгортають застосунки на основі машинного навчання та штучного інтелекту. Платформа створена для швидкого й масштабованого обслуговування моделей та поєднує високу пропускну здатність інференсу, швидке розгортання, автоматичне масштабування, захищене обслуговування моделей корпоративного рівня й підтримку пакування моделей із відкритим вихідним кодом. Baseten допомагає інженерним командам і фахівцям із машинного навчання керувати операційними завданнями інфраструктури моделей, щоб вони могли зосередитися на розробці моделей для конкретних предметних областей. Компанія працює у сферах штучного інтелекту, SaaS і корпоративних технологій; у її команді від 11 до 50 співробітників.
Керівник інженерного напряму продуктивності GPU-інференсу в Baseten
Керуйте розробкою продуктивності GPU-інференсу в Baseten, компанії, що створює інфраструктуру для ШІ. Розвивайте оптимізацію рантайму, ефективність моделей і спеціалізовану технічну команду.
Опис
- Керувати, наставляти й розвивати інженерів із продуктивності інференсу за допомогою регулярних зустрічей один на один, зворотного зв’язку, планування кар’єри та оцінювання результатів роботи
- Наймати інженерів із GPU та інференсу, підтримуючи культуру співпраці в команді
- Відповідати за дорожню карту продуктивності рантайму та її реалізацію
- Перевіряти технічні проєкти, керувати профілюванням і оптимізацією, а також допомагати інженерам оцінювати використання часу й пам’яті
- Виводити у промислову експлуатацію квантизацію, спекулятивне декодування, повторне використання KV-кешу, поетапне попереднє заповнення та власне планування
- Перетворювати покращення продуктивності на вимірювані результати за кількістю токенів на GPU-годину, завантаженням, затримкою та вартістю
- Переносити нові архітектури моделей на сучасне обладнання та налаштовувати їхню продуктивність
- Співпрацювати з командами інфраструктури, платформи інференсу, ядер, API моделей і роботи з клієнтами, щоб визначати пріоритети, координувати запуски та впроваджувати покращення
- Встановлювати інженерні стандарти якості, бенчмаркінгу, операційної досконалості та реагування на інциденти
- Розвивати оптимізацію агентного інференсу, агентні ядра, навчання моделей зі спекулятивним декодуванням і стек інференсу Baseten
Вимоги
- Ступінь бакалавра, магістра або доктора в галузі комп’ютерних наук, інженерії, математики чи суміжній дисципліні
- Досвід управління, що охоплює найм інженерів, наставництво, надання зворотного зв’язку та оцінювання результатів роботи
- Досвід керівництва командами з оптимізації GPU або тісної підтримки таких команд у навчанні, інференсі чи рекомендаційних системах
- Глибокі технічні знання GPU-навантажень, архітектури та компромісів продуктивності
- Знання бібліотек машинного навчання, зокрема PyTorch, TensorRT або TensorRT-LLM
- Підтверджена здатність формувати дорожні карти та реалізовувати складні технічні проєкти разом із командою
- Сильні навички письмової та усної комунікації для узгодження роботи зацікавлених сторін між командами
- Знання рушіїв інференсу, таких як vLLM, SGLang або TensorRT-LLM
- Досвід застосування методів оптимізації LLM, таких як квантизація, спекулятивне декодування та безперервне пакетування
- Досвід розроблення або роботи з GPU-ядрами за допомогою CUDA, Triton чи CUTLASS
- Досвід масштабування інженерної команди під час стрімкого зростання стартапу
- Попередній практичний досвід роботи інженером із продуктивності або системним інженером до переходу в управління
Переваги
- Конкурентний компенсаційний пакет із вагомою часткою в капіталі компанії
- Для працівників у США — повне медичне, стоматологічне страхування та страхування зору для працівників і утриманців
- Гнучка оплачувана відпустка, зокрема загальнокорпоративна зимова перерва
- Оплачувана відпустка у зв’язку з народженням або усиновленням дитини
- Підтримка питань фертильності та створення сім’ї через Carrot
- Для працівників у США — пенсійний план 401(k), організований компанією
- Можливості працювати з різними стартапами у сфері машинного навчання та розвивати професійні зв’язки в галузі