Baseten
Baseten
Baseten предоставляет инфраструктуру для инференса моделей компаниям, развертывающим приложения на основе машинного обучения и искусственного интеллекта. Платформа создана для быстрого и масштабируемого обслуживания моделей и объединяет высокую пропускную способность инференса, быстрое развертывание, автоматическое масштабирование, защищенное обслуживание моделей корпоративного уровня и поддержку упаковки моделей с открытым исходным кодом. Baseten помогает инженерным командам и специалистам по машинному обучению управлять операционными задачами инфраструктуры моделей, чтобы они могли сосредоточиться на разработке моделей для конкретных предметных областей. Компания работает в сферах искусственного интеллекта, SaaS и корпоративных технологий; в ее команде от 11 до 50 сотрудников.

Инженер-программист, платформа LLM-инференса — Baseten, гибридный формат

Создавайте распределённую платформу инференса LLM Baseten для компаний в сфере ИИ. Работайте с оркестрацией Kubernetes, API моделей, маршрутизацией, автоскейлингом и наблюдаемостью в продакшене.

Описание

  • Создавать инфраструктуру и оркестрацию для масштабного распределённого инференса LLM, включая маршрутизацию, автоскейлинг, планирование и управление средой выполнения.
  • Разрабатывать и эксплуатировать API моделей с поддержкой структурированных ответов, вызова инструментов и функций, а также мультимодальной обработки.
  • Реализовывать версионирование API, проверку запросов, учёт использования, квоты и аутентификацию.
  • Создавать инструменты для сбора метрик, трассировок и логов, а также воспроизводимые бенчмарки скорости, надёжности и качества.
  • Определять эффективные практики тестирования, автоматизации релизов и операционного совершенствования.
  • Диагностировать и укреплять продакшен-системы на уровнях Kubernetes, распределённых сред выполнения, сетей и GPU-нагрузок.
  • Сотрудничать с инженерами по производительности инференса и командами-партнёрами для реализации оптимизаций, ориентированных на клиентов.
  • Руководить проектами от архитектуры и развёртывания до мониторинга и итеративного улучшения на основе отзывов клиентов.
  • Балансировать производительность систем, надёжность, операционную простоту и удобство работы разработчиков.

Требования

  • Степень бакалавра, магистра или доктора в области компьютерных наук, инженерии или смежной сфере либо эквивалентный практический опыт.
  • Не менее трёх лет опыта создания и эксплуатации распределённых систем, серверной инфраструктуры или масштабных API, где критически важны надёжность, задержка и масштабируемость.
  • Подтверждённый опыт самостоятельной работы с надёжными серверными сервисами с низкой задержкой, включая ограничение частоты запросов, аутентификацию, квоты, учёт использования и миграции.
  • Глубокое понимание инфраструктуры, включая профилирование, трассировку, планирование ёмкости и управление SLO.
  • Умение диагностировать проблемы производительности и надёжности на уровнях приложения, среды выполнения и инфраструктуры.
  • Сильная ориентация на удобство работы разработчиков.
  • Готовность изучать новые языки, фреймворки и системы, а также интерес к инженерии инференса.
  • Отличные навыки письменной коммуникации и взаимодействия, включая понятную техническую документацию и эффективную межфункциональную работу.
  • Опыт работы с движками или фреймворками для инференса LLM, такими как vLLM, SGLang, TensorRT-LLM, TGI или Dynamo, либо вклад в них будет преимуществом.
  • Глубокий опыт работы с Kubernetes, включая операторы и пользовательские ресурсы; знакомство с сервисными сетками или API-шлюзами будет преимуществом.
  • Опыт работы с распределённым планированием, автоскейлингом или оркестрацией сервисов будет преимуществом.
  • Опыт запуска GPU-нагрузок в продакшене будет преимуществом.
  • Опыт работы с инфраструктурой или API для разработчиков либо вклад в инфраструктурные проекты с открытым исходным кодом или системы машинного обучения будет преимуществом.
  • Знакомство с инструментами наблюдаемости, системами CI/CD или автоматизацией релизов будет преимуществом.

Преимущества

  • Конкурентоспособная компенсация с существенной долей в капитале компании.
  • Для сотрудников и иждивенцев в США — полное покрытие медицинского, стоматологического страхования и страхования зрения.
  • Гибкий оплачиваемый отпуск, включая общекорпоративные зимние каникулы.
  • Оплачиваемый отпуск по уходу за ребёнком.
  • Поддержка лечения бесплодия и создания семьи через выплату Carrot.
  • Для сотрудников в США — пенсионный план 401(k), организованный компанией.
  • Возможность работать с широким кругом ML-стартапов, что создаёт значительные возможности для обучения и профессионального нетворкинга.

Похожие вакансии

Joom

Менеджер по успеху корпоративных клиентов, Бразилия (удалённо)

Joom

Ведите продления, удержание и развитие корпоративных клиентов JoomPulse. Превращайте аналитику Mercado Livre и Shopee в практические рекомендации для продавцов на маркетплейсах.

Открыть
Cyera

Региональный директор по продажам в сфере безопасности идентификационных данных

Cyera

Возглавьте команду продаж Cyera на Тихоокеанском Северо-Западе, развивайте территорию и превышайте план продаж платформы безопасности данных и ИИ.

Открыть
Terumo Medical Corporation

Региональный менеджер по продажам Terumo Interventional Systems

Terumo Medical Corporation

Руководите продажами медицинских изделий в регионе Северного и Центрального Нью-Джерси, управляя выездными командами и отношениями с больницами. Развивайте выручку региона, повышайте эффективность продаж и обеспечивайте продвижение продукции Terumo Interventional Systems в соответствии с требованиями.

Открыть
Dream

Старший менеджер программ Sovereign AI (гибридный формат, Израиль)

Dream

Руководите дорожной картой Dream в области суверенного ИИ для государственных заказчиков и критической инфраструктуры, координируя исследования, разработку, продукт, запуски и операции с использованием ИИ.

Открыть
Claroty

Инженер по автоматизации тестирования

Claroty

Разрабатывайте автоматизацию API и пользовательского интерфейса, а также контрольные проверки качества в CI/CD для платформы Claroty по защите киберфизических систем. Помогайте защищать критическую инфраструктуру с помощью надежного тестирования.

Открыть
Fluent Trade Technologies

Специалист по подбору технических специалистов

Fluent Trade Technologies
51 – 200 Сотрудники
Финтех

Подбирайте технических специалистов для международных команд Fluent Trade Technologies, координируя найм в ЕС, Украине и на Филиппинах.

Открыть
SKF Group

Глобальный инженер-конструктор изделий, подшипники — SKF, Бенгалуру

SKF Group

Разрабатывайте подшипниковую продукцию, модели, чертежи и варианты изделий в SKF — глобальном поставщике решений для вращающегося оборудования. Участвуйте в модульном проектировании, испытаниях и управлении жизненным циклом продукции.

Открыть
Webbing

Аналитик мобильного мошенничества — гибридный формат, Бухарест

Webbing

Расследуйте и предотвращайте телеком-мошенничество в глобальных услугах Webbing по подключению MVNO и IoT. Анализируйте трафик, роуминг, SIM-карты, голосовые вызовы, SMS и передачу данных, выявляя аномалии.

Открыть
The Clorox Company

Финансовый менеджер по финансам производства

The Clorox Company

Управляйте финансами производства в Clorox: консолидируйте затраты, готовьте прогнозы и проводите ежемесячное закрытие учета. Взаимодействуйте с производственными площадками, отделом закупок и планированием поставок в Мексике.

Открыть
Deepdub

Режиссёр дубляжа, адаптатор или актёр озвучивания на бразильском португальском

Deepdub
11 – 50 Сотрудники
Искусственный интеллект

Руководите дубляжом, адаптацией или озвучиванием на бразильском португальском для кино, телевидения и цифровых проектов с помощью платформы локализации Deepdub на основе ИИ.

Открыть