adaption desarrolla sistemas y herramientas de inteligencia artificial adaptativa diseñados para ajustar la inteligencia a usuarios individuales, idiomas, sectores y casos especializados. Su trabajo abarca Adaptive Data, Adaptive Intelligence y Adaptive Interfaces: enfoques que ayudan a los modelos a adaptarse continuamente y permiten experiencias de usuario más receptivas sin depender tanto de instrucciones manuales ni de un único modelo monolítico. La tecnología de la empresa resulta relevante para organizaciones que exploran aplicaciones prácticas de la IA en áreas como la consultoría, la logística y el marketing.
Ingeniero/a de inferencia — Adaption (híbrido, área de la bahía)
Optimiza la infraestructura de inferencia para mejorar el rendimiento, reducir costes y minimizar la latencia en Adaption, una empresa de IA que desarrolla sistemas de inteligencia adaptativa. Mejora el servicio de modelos en GPU, motores de inferencia y cargas de trabajo de producción.
Descripción
- Liderar la responsabilidad sobre los costes y el rendimiento de la pila de inferencia.
- Aumentar el rendimiento y reducir los costes y la latencia de cola mediante la gestión de la caché KV, el batching continuo, la decodificación especulativa y la cuantización.
- Optimizar las cargas de trabajo de prellenado y decodificación de contextos largos con tráfico de producción real.
- Ajustar el enrutamiento entre la infraestructura interna y los proveedores externos según el coste, la capacidad y el rendimiento.
- Utilizar motores de servicio como vLLM, SGLang y TensorRT-LLM, trabajando por debajo del framework cuando sea necesario.
- Desarrollar sistemas de perfilado y medición para localizar el uso de tiempo, memoria y capacidad de cómputo.
- Colaborar estrechamente con los ingenieros responsables de la flota de servicio.
Requisitos
- Contar con al menos cinco años de experiencia en sistemas de ML, infraestructura de inferencia o ingeniería de rendimiento, con mejoras medibles en costes o latencia.
- Demostrar un conocimiento profundo del servicio de modelos, incluidos el prellenado y la decodificación, el ancho de banda de memoria, el batching y la concurrencia.
- Tener experiencia en producción con motores de servicio como vLLM, SGLang o TensorRT-LLM.
- Utilizar Python con soltura y dominar C++, Rust u otro lenguaje de programación de sistemas.
- Comprender aspectos del rendimiento de GPU, como CUDA, NCCL, precisión mixta, disposición de memoria, kernels o cuantización.
- Poder trabajar presencialmente en el área de la bahía dentro de un modelo híbrido.
Beneficios
- Combinar la colaboración presencial en el área de la bahía con un equipo distribuido y de orientación global, además de encuentros del equipo.
- Recibir un estipendio anual de viaje Adaption Passport para explorar un país que no hayas visitado anteriormente.
- Disponer de una asignación semanal para comidas para llevar o entrega de productos del supermercado.
- Acceder a una cobertura médica integral y generosas vacaciones remuneradas.