Baseten
Baseten
Baseten надає інфраструктуру для інференсу моделей компаніям, які розгортають застосунки на основі машинного навчання та штучного інтелекту. Платформа створена для швидкого й масштабованого обслуговування моделей та поєднує високу пропускну здатність інференсу, швидке розгортання, автоматичне масштабування, захищене обслуговування моделей корпоративного рівня й підтримку пакування моделей із відкритим вихідним кодом. Baseten допомагає інженерним командам і фахівцям із машинного навчання керувати операційними завданнями інфраструктури моделей, щоб вони могли зосередитися на розробці моделей для конкретних предметних областей. Компанія працює у сферах штучного інтелекту, SaaS і корпоративних технологій; у її команді від 11 до 50 співробітників.

Інженер-програміст, платформа LLM-інференсу — Baseten, гібридний формат

Створюйте розподілену платформу інференсу LLM Baseten для компаній у сфері ШІ. Працюйте з оркестрацією Kubernetes, API моделей, маршрутизацією, автоскейлінгом і спостережуваністю в продакшені.

Опис

  • Створювати інфраструктуру та оркестрацію для масштабного розподіленого інференсу LLM, зокрема маршрутизацію, автоскейлінг, планування та керування середовищем виконання.
  • Розробляти й експлуатувати API моделей із підтримкою структурованих відповідей, виклику інструментів і функцій, а також мультимодальної обробки.
  • Реалізовувати версіювання API, перевірку запитів, облік використання, квоти й автентифікацію.
  • Створювати інструменти для метрик, трасувань і логів, а також відтворювані бенчмарки швидкості, надійності та якості.
  • Визначати ефективні практики тестування, автоматизації релізів і операційної досконалості.
  • Діагностувати й посилювати продакшен-системи на рівнях Kubernetes, розподілених середовищ виконання, мереж і GPU-навантажень.
  • Співпрацювати з інженерами з продуктивності інференсу та командами-партнерами для створення оптимізацій, орієнтованих на клієнтів.
  • Керувати проєктами від архітектури й розгортання до моніторингу та ітерацій на основі відгуків клієнтів.
  • Балансувати продуктивність систем, надійність, операційну простоту та зручність роботи розробників.

Вимоги

  • Ступінь бакалавра, магістра або доктора в галузі комп’ютерних наук, інженерії чи суміжній сфері або еквівалентний практичний досвід.
  • Щонайменше три роки досвіду створення та експлуатації розподілених систем, серверної інфраструктури або масштабних API, де критично важливі надійність, затримка й масштабованість.
  • Підтверджений досвід відповідальності за надійні серверні сервіси з низькою затримкою, зокрема обмеження частоти запитів, автентифікацію, квоти, облік використання та міграції.
  • Глибоке розуміння інфраструктури, зокрема профілювання, трасування, планування місткості та керування SLO.
  • Здатність діагностувати проблеми продуктивності й надійності на рівнях застосунку, середовища виконання та інфраструктури.
  • Сильна увага до зручності роботи розробників.
  • Готовність вивчати нові мови, фреймворки й системи, а також інтерес до інженерії інференсу.
  • Відмінні навички письмової комунікації та співпраці, зокрема зрозуміла технічна документація й ефективна міжфункціональна робота.
  • Досвід роботи з рушіями або фреймворками інференсу LLM, такими як vLLM, SGLang, TensorRT-LLM, TGI чи Dynamo, або внесок у них буде перевагою.
  • Глибокий досвід роботи з Kubernetes, зокрема операторами й користувацькими ресурсами; знайомство із сервісними сітками або API-шлюзами буде перевагою.
  • Досвід роботи з розподіленим плануванням, автоскейлінгом або оркестрацією сервісів буде перевагою.
  • Досвід запуску GPU-навантажень у продакшені буде перевагою.
  • Досвід роботи з інфраструктурою або API для розробників чи внесок в інфраструктурні проєкти з відкритим кодом або системи машинного навчання буде перевагою.
  • Знайомство з інструментами спостережуваності, системами CI/CD або автоматизацією релізів буде перевагою.

Переваги

  • Конкурентоспроможна компенсація зі значущою часткою в капіталі компанії.
  • Для працівників та утриманців у США — повне покриття медичного, стоматологічного страхування та страхування зору.
  • Гнучка оплачувана відпустка, включно із загальнокорпоративними зимовими канікулами.
  • Оплачувана відпустка для батьків.
  • Підтримка лікування безпліддя та створення сім’ї через виплату Carrot.
  • Для працівників у США — пенсійний план 401(k), організований компанією.
  • Можливість працювати з різноманітними ML-стартапами, що створює значні можливості для навчання та професійного нетворкінгу.

Схожі вакансії

Ecolab

Технічний консультант з іонообмінних смол

Ecolab

Надавайте експертну підтримку щодо застосування іонообмінних і спеціальних смол Purolite компанії Ecolab. Допомагайте клієнтам по всій Європі: вирішуйте технічні проблеми, підтримуйте продажі та проводьте навчання.

Відкрити
YASH Technologies

Старший консультант SAP S/4HANA SD

YASH Technologies

Впроваджуйте SAP S/4HANA SD для процесів від замовлення до оплати та інтеграцій у YASH Technologies. Підтримуйте розгортання рішень, основні дані, ціноутворення, податки, перевірки доступності та міжфункціональні процеси SAP.

Відкрити
UNESCO

Старший консультант з оцінювання потенціалу водного сектору в Західній Африці

UNESCO

ЮНЕСКО шукає консультанта для оцінювання прогалин у потенціалі водного сектору в Західній Африці та одній пілотній країні. Робота охоплює регіональні рекомендації та план розвитку потенціалу країни.

Відкрити
InterScripts, Inc.

Консультант із розробки Epic SmartForms

InterScripts, Inc.

Проєктуйте й упроваджуйте складні Epic SmartForms для дитячої системи охорони здоров’я. Навчайте аналітиків Epic і запроваджуйте повторно використовувані стандарти та робочі процеси.

Відкрити
InterScripts, Inc.

Старший сертифікований консультант Epic HIM (віддалено, США)

InterScripts, Inc.

Надавайте тимчасову підтримку застосунку Epic HIM у дитячій системі охорони здоров’я: супроводжуйте робочі процеси й усувайте несправності. Навчіть нового аналітика, задокументуйте процеси та підготуйте команду до плавного переходу.

Відкрити
cognitivo AG

ІТ-консультант із банківської справи та платежів

cognitivo AG

Консультуйте банки й постачальників фінансових послуг щодо ІТ-трансформації, платіжних рішень і впровадження ШІ в Cognitivo — спеціалізованій фінансовій консалтинговій компанії.

Відкрити
VeriPark

Функціональний консультант із фінансових послуг

VeriPark

Допомагайте фінансовим установам ставати цифровими лідерами, створюючи яскравий клієнтський досвід. Працюйте в міжнародній команді над проєктами, що формують майбутнє цифрових фінансів.

Відкрити
Jhpiego

Технічний директор з питань сталих систем охорони здоров’я та взаємодії з приватним сектором

Jhpiego

Очолюйте роботу Jhpiego зі створення сталих систем охорони здоров’я, орієнтованих на ринок. Розвивайте партнерства з приватним сектором, інноваційне фінансування та масштабовані рішення для глобальних програм у сфері охорони здоров’я.

Відкрити
3Shape

Консультант із технічної підтримки 2-го рівня зі знанням французької — 3Shape, Україна

3Shape

Надавайте технічну підтримку щодо стоматологічних сканерів і програмного забезпечення 3Shape. Допомагайте стоматологічним партнерам і користувачам французькою, українською та англійською мовами.

Відкрити
3Shape

Консультант служби підтримки 2-ї лінії, англійська мова — гібридний формат, Київ

3Shape

Допомагайте клієнтам у всьому світі усувати несправності стоматологічних сканерів і програмного забезпечення 3Shape під час онлайн-сеансів, телефоном та електронною поштою. Працюючи в гібридному форматі в Києві, документуйте звернення в CRM і передавайте відгуки клієнтів відповідним командам.

Відкрити