Baseten
Baseten
Baseten предоставя инфраструктура за инференция на модели за компании, които внедряват приложения за машинно обучение и изкуствен интелект. Платформата му е създадена за бързо и мащабируемо обслужване на модели, като съчетава инференция с висока пропускателна способност, бързо внедряване, автоматично мащабиране, сигурно обслужване на модели за предприятия и поддръжка на опаковането на модели с отворен код. Baseten помага на инженерните екипи и екипите по машинно обучение да управляват оперативните изисквания на инфраструктурата за модели, за да могат да се съсредоточат върху разработването на модели, специфични за съответната област. Компанията работи в областта на изкуствения интелект, SaaS и корпоративните технологии и има 11–50 служители.

Софтуерен инженер, платформа за LLM инференция – Baseten Hybrid

Изграждайте разпределената платформа на Baseten за LLM инференция за AI компании. Работете с оркестрация на Kubernetes, API за модели, маршрутизация, автоматично мащабиране и наблюдаемост на продукционните системи.

Описание

  • Изграждане на инфраструктура и оркестрация за мащабна разпределена LLM инференция, включително маршрутизация, автоматично мащабиране, планиране и управление на изпълнението.
  • Разработване и експлоатация на API за модели, поддържащи структурирани изходи, извикване на инструменти и функции и мултимодално обслужване.
  • Реализиране на версиониране на API, валидиране на заявки, измерване на използването, квоти и удостоверяване.
  • Създаване на инструментариум за метрики, трасета и логове заедно с възпроизводими бенчмаркове за бързина, надеждност и качество.
  • Определяне на добри практики за тестване, автоматизация на изданията и оперативно съвършенство.
  • Диагностициране и укрепване на продукционни системи в Kubernetes, разпределени среди за изпълнение, мрежи и GPU натоварвания.
  • Сътрудничество с инженери по производителността на инференцията и партньорски екипи за създаване на оптимизации, насочени към клиентите.
  • Ръководене на проекти от архитектурата и внедряването до мониторинга и итерациите, основани на обратната връзка от клиентите.
  • Балансиране на производителността на системата, надеждността, оперативната простота и изживяването на разработчиците.

Изисквания

  • Бакалавърска, магистърска или докторска степен по компютърни науки, инженерство или сродна област, или еквивалентен практически опит.
  • Поне три години опит в изграждането и експлоатацията на разпределени системи, бекенд инфраструктура или API с голям мащаб, при които надеждността, латентността и мащабирането са критични.
  • Доказана отговорност за надеждни бекенд услуги с ниска латентност, включващи ограничаване на честотата, удостоверяване, квоти, измерване и миграции.
  • Силна преценка в областта на инфраструктурата, включително опит с профилиране, трасировка, планиране на капацитета и управление на SLO.
  • Способност за диагностициране на проблеми с производителността и надеждността на ниво приложение, среда за изпълнение и инфраструктура.
  • Силен фокус върху изживяването на разработчиците.
  • Готовност за изучаване на нови езици, рамки и системи, както и интерес към инженерството на инференцията.
  • Отлични умения за писмена комуникация и сътрудничество, включително ясна проектна документация и ефективна междуфункционална работа.
  • Опит с енджини или рамки за LLM инференция, като vLLM, SGLang, TensorRT-LLM, TGI или Dynamo, или принос към тях, е предимство.
  • Задълбочен опит с Kubernetes, включително оператори и персонализирани ресурси; познаването на service mesh или API gateway е предимство.
  • Опит с разпределено планиране, автоматично мащабиране или оркестрация на услуги е предимство.
  • Опит с продукционни GPU натоварвания е предимство.
  • Опит с инфраструктура или API, предназначени за разработчици, или принос към инфраструктура с отворен код или системи за машинно обучение, е предимство.
  • Познаването на инструменти за наблюдаемост, CI/CD системи или автоматизация на изданията е предимство.

Придобивки

  • Конкурентно възнаграждение със значим дялов компонент.
  • За служители и лица на тяхна издръжка в САЩ – пълно покритие на медицинска, стоматологична и зрителна застраховка.
  • Гъвкав платен отпуск, включително зимна почивка за цялата компания.
  • Платен родителски отпуск.
  • Подкрепа за фертилност и създаване на семейство чрез стипендия от Carrot.
  • За служители в САЩ – план 401(k), организиран от компанията.
  • Достъп до разнообразни стартъпи в областта на машинното обучение, което създава значителни възможности за учене и професионално свързване.

Свързани работни места

Tabby

Главен бекенд инженер

Tabby

Изграждайте общи бекенд системи, инструменти за разработчици и решения за сигурност за глобалната финтех платформа на Tabby. Ръководете мащабни инициативи за разпределени системи в международен екип, работещ дистанционно.

Отвори
Tabby

Главен бекенд инженер

Tabby

Определяйте техническата посока на споделената бекенд инфраструктура, сигурността и инструментите за разработчици на Tabby. Изграждайте надеждни системи за глобална финтех платформа с гъвкави плащания, обслужваща милиони потребители.

Отвори
ElevenLabs

Продуктов инженер с дистанционна работа в ElevenLabs

ElevenLabs

Подобрете таблото за API на ElevenLabs, въвеждането на потребители и работата на разработчиците. Изграждайте full-stack функционалности за аудио платформите на компанията, базирани на изкуствен интелект.

Отвори
Tabby

Старши бекенд инженер

Tabby

Изграждайте общи бекенд системи, инструменти за разработчици и решения за сигурност за глобалната финтех платформа на Tabby. Ръководете сложни инженерни инициативи в разпределена организация.

Отвори
Tabby

Staff Backend Engineer, Армения (дистанционно)

Tabby

Определяйте техническата посока на споделените бекенд системи, инструментите за разработчици и инженерните практики на Tabby. Помагайте на екипите да изграждат надеждни и сигурни услуги за глобална финтех платформа.

Отвори
NVIDIA

NVIDIA Инженер системен софтуер за производителност – дистанционна работа

NVIDIA

Оптимизирайте производителността на централните процесори за центрове за данни от следващо поколение и суперчиповете CPU-GPU на NVIDIA, базирани на ARM SoC. Анализирайте тесните места, бенчмарковете и натоварванията при конкурентни процесори.

Отвори
Tabby

Главен бекенд инженер, Полша (дистанционна работа)

Tabby

Определяйте посоката на споделените бекенд системи, инструментите за разработчици и решенията за сигурност в глобалната финтех платформа на Tabby. Ръководете сложни инженерни инициативи с Go, обхващащи разпределени системи.

Отвори
NatWest Group

Софтуерен инженер за AWS (AVP)

NatWest Group

Изграждайте и поддържайте сигурни, устойчиви и мащабируеми платформи за банкови клиенти. Разработвайте софтуер през целия му жизнен цикъл с помощта на облачни и DevOps технологии.

Отвори
Hunt St

Старши стратег за социални медии

Hunt St

Ръководите платената и органичната стратегия във Facebook и Instagram за клиенти от здравния сектор, като използвате креативно ръководство и анализи за привличане на квалифицирани потенциални клиенти. Това е старша договорна позиция с дистанционна работа от Филипините.

Отвори
Soulhouse

Старши мениджър социални медии

Soulhouse

Ръководете социалните кампании и създаването на съдържание за Soulhouse, разрастваща се европейска марка за грижа за себе си. Разработвайте работни процеси с подкрепата на изкуствен интелект за Instagram и TikTok.

Отвори