Baseten
Baseten
A Baseten oferece infraestrutura de inferência de modelos para empresas que desenvolvem aplicações de aprendizado de máquina e inteligência artificial. Sua plataforma foi criada para disponibilizar modelos com rapidez e escalabilidade, combinando inferência de alto desempenho, implantação ágil, escalonamento automático, disponibilização segura de modelos para empresas e suporte ao empacotamento de modelos de código aberto. A Baseten ajuda as equipes de engenharia e aprendizado de máquina a gerenciar as demandas operacionais da infraestrutura de modelos para que possam se concentrar no desenvolvimento de modelos específicos para cada domínio. A empresa atua nos setores de inteligência artificial, software como serviço e tecnologia empresarial, com uma equipe de 11 a 50 funcionários.

Engenheiro(a) de software de desempenho de inferência na Baseten (híbrido)

A Baseten está contratando um(a) engenheiro(a) de desempenho de inferência para otimizar runtimes de LLM, kernels de GPU e sistemas de serving de modelos. A função tem foco em melhorar a velocidade da inferência em produção, a utilização do hardware e a eficiência de custos.

Descrição

  • Colocar em produção métodos avançados de inferência, como quantização, decodificação especulativa, reutilização do cache KV, prefill em blocos, LoRA, geração guiada e agendamento ou roteamento personalizados.
  • Analisar todo o pipeline de inferência, otimizando a sobrecarga dos kernels, a alocação de memória, o agendamento de requisições, a separação entre prefill e decode e o roteamento consciente do cache.
  • Aumentar o número de tokens por hora de GPU e a utilização, equilibrando latência, throughput e custo.
  • Implantar e otimizar arquiteturas de modelos emergentes em novas plataformas de hardware.
  • Criar benchmarks que abranjam tipos de modelo, tamanhos de batch, comprimentos de sequência e configurações de hardware variados.
  • Enviar melhorias para projetos de inferência de código aberto, incluindo vLLM, SGLang e TensorRT-LLM.
  • Trabalhar com equipes de modelos, infraestrutura e relacionamento com clientes para entregar ganhos de desempenho mensuráveis.

Requisitos

  • Graduação, mestrado ou doutorado em ciência da computação, engenharia, matemática ou área relacionada.
  • Experiência profissional com pelo menos uma linguagem de programação de uso geral, incluindo Python ou C++.
  • Conhecimento prático de métodos de otimização de LLM, como quantização, decodificação especulativa e batching contínuo.
  • Domínio de bibliotecas de machine learning, especialmente PyTorch, TensorRT ou TensorRT-LLM.
  • Interesse comprovado e experiência prática com modelos de linguagem de grande escala.
  • Conhecimento aprofundado de arquitetura de GPU.

Benefícios

  • Pacote de remuneração competitivo com participação significativa em ações.
  • Para funcionários nos Estados Unidos, cobertura integral de seguro médico, odontológico e oftalmológico para funcionários e dependentes.
  • Folga remunerada flexível, além de uma pausa de inverno para toda a empresa.
  • Licença parental remunerada.
  • Apoio a tratamentos de fertilidade e formação de famílias por meio de um benefício da Carrot.
  • Para funcionários nos Estados Unidos, plano 401(k) facilitado pela empresa.
  • Oportunidades de trabalhar com diversas startups de machine learning, promovendo aprendizado substancial e networking profissional.

Vagas relacionadas

Havas

Estagiário de assistente de contas, relações públicas de consumo

Havas

Dá suporte às comunicações de consumo, ao relacionamento com a imprensa e às atividades de relações públicas digitais da Havas PR Milan. Ajuda a preparar comunicados à imprensa, relatórios de campanhas com influenciadores e ações de contato com a mídia.

Abrir
Musco Lighting

Coordenador de contas a receber

Musco Lighting

Cuida do faturamento, dos recebimentos, das conciliações e das dúvidas dos clientes nas operações contábeis da Musco Lighting. A função apoia uma fornecedora global de tecnologia de iluminação para instalações esportivas e grandes áreas.

Abrir