OpenRouter es una plataforma de inteligencia artificial que ofrece a desarrolladores y equipos una forma unificada de acceder a modelos de lenguaje de gran escala de distintos proveedores y trabajar con ellos. Su catálogo de modelos incluye opciones como Mistral Small 3 y DeepSeek R1 Distill Qwen 32B, compatibles con aplicaciones que priorizan la velocidad, la precisión y la flexibilidad en la selección de modelos. OpenRouter también ofrece herramientas para programación y videojuegos, con posibles aplicaciones en áreas como el marketing, las finanzas y la educación.
Ingeniero/a de confiabilidad de sitios, operaciones de proveedores de IA — OpenRouter (remoto, EE. UU.)
Gestiona los sistemas de confiabilidad de los proveedores de IA de OpenRouter, incluidos la observabilidad, la conmutación por error y la respuesta a incidentes. Automatiza los controles de calidad de los endpoints, la gestión de capacidad y la preparación para lanzamientos.
Descripción
- Desarrolla la monitorización de los endpoints de proveedores y realiza el seguimiento de la latencia, el rendimiento, los errores, el tiempo de actividad y la corrección de los resultados.
- Define objetivos de nivel de servicio (SLO) para los distintos niveles de proveedores y configura alertas que permitan actuar.
- Mejora la detección de endpoints degradados y coordina la conmutación automática del tráfico por error con el equipo de enrutamiento.
- Gestiona los incidentes de proveedores durante la guardia, desde la clasificación y la mitigación hasta la comunicación con socios, los análisis posteriores y las acciones de seguimiento.
- Elabora cuadros de mando de proveedores e informes de SLO.
- Ofrece asistencia técnica de escalamiento para problemas con endpoints de proveedores.
- Desarrolla pruebas canario continuas y evaluaciones para detectar regresiones de calidad que, de otro modo, pasarían inadvertidas.
- Automatiza las operaciones de proveedores, como la desactivación de endpoints, los cambios de capacidad, las retiradas y los ajustes de límites de solicitudes.
- Crea herramientas de pruebas de carga de endpoints para evaluar la preparación para el lanzamiento y el tráfico inicial.
- Reporta al/a la responsable de Operaciones de Proveedores.
Requisitos
- Al menos cuatro años de experiencia en SRE, ingeniería de producción o infraestructura, con sistemas de cara al cliente y de alto tráfico.
- Sólidos conocimientos de observabilidad, incluidas métricas, trazas, registros, SLO, presupuestos de errores y alertas accionables.
- Capacidad de ingeniería de software y preferencia por crear herramientas en lugar de seguir procedimientos operativos.
- Experiencia con TypeScript o Python.
- Conocimiento de los modos de fallo de los sistemas distribuidos, incluidos los tiempos de espera, los reintentos, el control de sobrecarga y las interrupciones parciales.
- Capacidad para liderar incidentes con serenidad y comunicarse con claridad con socios externos bajo presión.
- Conocimientos de inferencia de LLM o disposición para aprender sobre streaming, llamadas a herramientas, almacenamiento en caché de prompts, compromisos entre rendimiento y latencia, y diferencias entre las API de proveedores.
- Se valorará la experiencia en un proveedor de inferencia, un laboratorio de modelos, una nube de GPU o una empresa de pasarelas de API o CDN.
- Se valorará la experiencia con TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP o Vercel.
- Se valorará la experiencia en sistemas de enrutamiento, balanceo de carga o gestión del tráfico.
- Se valorará la experiencia con evaluaciones o monitorización sintética de sistemas de aprendizaje automático.