Baseten
Baseten
A Baseten oferece infraestrutura de inferência de modelos para empresas que desenvolvem aplicações de aprendizado de máquina e inteligência artificial. Sua plataforma foi criada para disponibilizar modelos com rapidez e escalabilidade, combinando inferência de alto desempenho, implantação ágil, escalonamento automático, disponibilização segura de modelos para empresas e suporte ao empacotamento de modelos de código aberto. A Baseten ajuda as equipes de engenharia e aprendizado de máquina a gerenciar as demandas operacionais da infraestrutura de modelos para que possam se concentrar no desenvolvimento de modelos específicos para cada domínio. A empresa atua nos setores de inteligência artificial, software como serviço e tecnologia empresarial, com uma equipe de 11 a 50 funcionários.

Engenheiro de software, plataforma de inferência de LLM - Baseten híbrido

Construa a plataforma distribuída de inferência de LLM da Baseten para empresas de IA. Trabalhe com orquestração do Kubernetes, APIs de modelos, roteamento, escalabilidade automática e observabilidade em produção.

Descrição

  • Construa infraestrutura e orquestração para inferência distribuída de LLM em larga escala, abrangendo roteamento, escalabilidade automática, agendamento e gerenciamento do ambiente de execução.
  • Desenvolva e opere APIs de modelos compatíveis com saídas estruturadas, chamadas de ferramentas e funções e atendimento multimodal.
  • Implemente versionamento de APIs, validação de requisições, medição de uso, cotas e autenticação.
  • Crie instrumentação para métricas, traces e logs, além de benchmarks reproduzíveis de velocidade, confiabilidade e qualidade.
  • Defina práticas sólidas de testes, automação de releases e excelência operacional.
  • Diagnostique e fortaleça sistemas de produção em Kubernetes, ambientes de execução distribuídos, redes e cargas de trabalho de GPU.
  • Colabore com engenheiros de desempenho de inferência e equipes parceiras para entregar otimizações voltadas aos clientes.
  • Lidere projetos desde a arquitetura e a implantação até o monitoramento e a iteração orientada pelo feedback dos clientes.
  • Equilibre desempenho do sistema, confiabilidade, simplicidade operacional e experiência do desenvolvedor.

Requisitos

  • Bacharelado, mestrado ou doutorado em ciência da computação, engenharia ou área relacionada, ou experiência prática equivalente.
  • Pelo menos três anos de experiência desenvolvendo e operando sistemas distribuídos, infraestrutura de backend ou APIs em larga escala, em que confiabilidade, latência e escala sejam essenciais.
  • Experiência comprovada na responsabilidade por serviços de backend confiáveis e de baixa latência que envolvam limitação de taxa, autenticação, cotas, medição e migrações.
  • Sólido discernimento em infraestrutura, incluindo experiência com criação de perfis, tracing, planejamento de capacidade e gestão de SLOs.
  • Capacidade de diagnosticar problemas de desempenho e confiabilidade nas camadas de aplicação, ambiente de execução e infraestrutura.
  • Forte foco na experiência do desenvolvedor.
  • Disposição para aprender novas linguagens, frameworks e sistemas, com interesse em engenharia de inferência.
  • Excelentes habilidades de comunicação escrita e colaboração, incluindo documentação clara de projetos e trabalho eficaz entre áreas.
  • Experiência ou contribuições para mecanismos ou frameworks de inferência de LLM, como vLLM, SGLang, TensorRT-LLM, TGI ou Dynamo, são diferenciais.
  • Experiência profunda com Kubernetes, incluindo operadores e recursos personalizados; familiaridade com service meshes ou gateways de API é um diferencial.
  • Experiência com agendamento distribuído, escalabilidade automática ou orquestração de serviços é um diferencial.
  • Experiência executando cargas de trabalho de GPU em produção é um diferencial.
  • Experiência com infraestrutura ou APIs voltadas para desenvolvedores, ou contribuições para infraestrutura de código aberto ou sistemas de aprendizado de máquina, é um diferencial.
  • Familiaridade com ferramentas de observabilidade, sistemas de CI/CD ou automação de releases é um diferencial.

Benefícios

  • Remuneração competitiva com participação relevante no capital.
  • Para funcionários e dependentes nos Estados Unidos, cobertura integral de seguros médico, odontológico e oftalmológico.
  • Folgas remuneradas flexíveis, incluindo uma pausa de inverno para toda a empresa.
  • Licença parental remunerada.
  • Apoio para fertilidade e formação de família por meio de um benefício da Carrot.
  • Para funcionários nos Estados Unidos, plano 401(k) facilitado pela empresa.
  • Contato com uma variedade de startups de aprendizado de máquina, criando amplas oportunidades de aprendizado e networking profissional.

Vagas relacionadas

NVIDIA

Engenheiro sênior de temporização de circuitos, NVIDIA (remoto, Califórnia)

NVIDIA

Projete circuitos de processadores NVIDIA para segurança de hardware, clock adaptativo e gerenciamento de energia. Lidere o fechamento de temporização e a análise em nível de transistor, aplicando métodos de IA e aprendizado de máquina ao projeto de silício.

Abrir
AT&T

Representante de vendas de contas territoriais da AT&T Business — Memphis

AT&T

Amplie a carteira de pequenas empresas e clientes de médio porte da AT&T em Memphis com a venda de banda larga por fibra e outras soluções de comunicação. A função combina prospecção, desenvolvimento de contas e venda consultiva para aumentar a receita do território.

Abrir