Baseten
Baseten
Baseten ofrece infraestructura de inferencia de modelos para empresas que implementan aplicaciones de aprendizaje automático e inteligencia artificial. Su plataforma está diseñada para ofrecer servicios rápidos y escalables, combinando inferencia de alto rendimiento, implementación ágil, escalado automático, servicio seguro de modelos para empresas y compatibilidad con el empaquetado de modelos de código abierto. Baseten ayuda a los equipos de ingeniería y aprendizaje automático a gestionar las exigencias operativas de la infraestructura de modelos para que puedan centrarse en desarrollar modelos específicos para cada dominio. La empresa opera en los sectores de la inteligencia artificial, el software como servicio y la tecnología empresarial, y cuenta con un equipo de entre 11 y 50 empleados.

Ingeniero/a de software de rendimiento de inferencia en Baseten (híbrido)

Baseten busca un/a ingeniero/a de rendimiento de inferencia para optimizar runtimes de LLM, kernels de GPU y sistemas de servicio de modelos. El puesto se centra en mejorar la velocidad de inferencia en producción, la utilización del hardware y la eficiencia de costes.

Descripción

  • Llevar a producción métodos avanzados de inferencia, como la cuantización, la decodificación especulativa, la reutilización de la caché KV, el prellenado por fragmentos, LoRA, la generación guiada y la programación o el enrutamiento personalizados.
  • Analizar todo el flujo de inferencia y optimizar la sobrecarga de los kernels, la ubicación de la memoria, la programación de solicitudes, la separación entre prellenado y decodificación, y el enrutamiento consciente de la caché.
  • Aumentar los tokens por hora de GPU y la utilización, equilibrando la latencia, el rendimiento y el coste.
  • Implementar y optimizar arquitecturas de modelos emergentes en nuevas plataformas de hardware.
  • Crear benchmarks que abarquen distintos tipos de modelos, tamaños de lote, longitudes de secuencia y configuraciones de hardware.
  • Presentar mejoras para proyectos de inferencia de código abierto, incluidos vLLM, SGLang y TensorRT-LLM.
  • Trabajar con equipos de modelos, infraestructura y atención al cliente para lograr mejoras de rendimiento cuantificables.

Requisitos

  • Título universitario, de máster o doctoral en informática, ingeniería, matemáticas o una disciplina relacionada.
  • Experiencia profesional con al menos un lenguaje de programación de propósito general, como Python o C++.
  • Conocimientos prácticos de métodos de optimización de LLM, como la cuantización, la decodificación especulativa y el batching continuo.
  • Dominio sólido de bibliotecas de aprendizaje automático, especialmente PyTorch, TensorRT o TensorRT-LLM.
  • Interés demostrado y experiencia práctica con modelos de lenguaje de gran tamaño.
  • Comprensión profunda de la arquitectura de GPU.

Beneficios

  • Paquete retributivo competitivo con una participación significativa en acciones.
  • Para empleados en Estados Unidos, cobertura completa de seguro médico, dental y oftalmológico para empleados y sus dependientes.
  • Tiempo libre remunerado flexible, además de un descanso invernal para toda la empresa.
  • Permiso parental remunerado.
  • Apoyo para tratamientos de fertilidad y formación de familias mediante un estipendio de Carrot.
  • Para empleados en Estados Unidos, un plan 401(k) facilitado por la empresa.
  • Oportunidades de trabajar con diversas startups de aprendizaje automático, favoreciendo un aprendizaje significativo y el desarrollo de una red profesional.

Empleos relacionados

University of Arkansas System

Asistente ejecutivo de Educación en Profesiones de la Salud

University of Arkansas System

Apoya las admisiones y la formación en profesiones de la salud en la Universidad de Arkansas para las Ciencias Médicas, coordinando horarios, compras, administración docente y servicios estudiantiles. Colabora en la gestión de las operaciones del departamento en programas de formación sanitaria de Arkansas.

Abrir
Troostwijk Auctions

Auxiliar administrativo financiero

Troostwijk Auctions

Puesto a tiempo parcial para gestionar facturas, pagos y conciliaciones en la plataforma de subastas digitales de Troostwijk Auctions. Apoya los cierres mensuales y anuales como parte de un equipo híbrido en Ámsterdam.

Abrir
Savannah River Mission Completion

Coordinador administrativo de turno de granjas de tanques

Savannah River Mission Completion
1001 – 5000 Empleados
EnergíaGobiernoMedioambiental

Brinda apoyo administrativo a las operaciones de las granjas de tanques de Savannah River Mission Completion en el sitio de Savannah River. Coordina horarios, registros, informes y actividades departamentales.

Abrir
Communauté de Communes Pays des Sorgues Monts de Vaucluse

Asistente de contabilidad y administración

Communauté de Communes Pays des Sorgues Monts de Vaucluse
51 – 200 Empleados
GobiernoTransporte

Gestionar las operaciones contables, los compromisos presupuestarios y la administración financiera de dos entidades locales francesas. El puesto también presta apoyo a responsables presupuestarios y ofrece atención en recepción y asistencia administrativa al Departamento de Finanzas.

Abrir
Bright

Asistente ejecutivo/a de Bright (híbrido, Reino Unido)

Bright

Apoya al equipo directivo de Bright, una empresa de productos digitales que presta servicios a contables, asesorías de nóminas y empresas del Reino Unido e Irlanda. Coordina agendas, viajes, reuniones y proyectos confidenciales en un contrato de 12 meses.

Abrir