OpenRouter est une plateforme d’intelligence artificielle qui permet aux développeurs et aux équipes d’accéder de manière unifiée à des modèles de langage de grande taille provenant de différents fournisseurs et de les exploiter. Son catalogue de modèles comprend notamment Mistral Small 3 et DeepSeek R1 Distill Qwen 32B, pour des applications qui privilégient la rapidité, la précision et la flexibilité dans le choix des modèles. OpenRouter propose également des outils pour le développement logiciel et les jeux vidéo, avec des applications potentielles dans des domaines tels que le marketing, la finance et l’éducation.
Ingénieur·e en fiabilité des sites, opérations des fournisseurs d’IA — OpenRouter (à distance, États-Unis)
Exploitez les systèmes de fiabilité des fournisseurs d’IA d’OpenRouter, notamment l’observabilité, le basculement et la réponse aux incidents. Automatisez les contrôles de qualité des points de terminaison, la gestion de capacité et la préparation des lancements.
Description
- Développer la supervision des points de terminaison des fournisseurs et suivre la latence, le débit, les erreurs, la disponibilité et l’exactitude des résultats.
- Définir des objectifs de niveau de service (SLO) pour les catégories de fournisseurs et configurer des alertes permettant d’agir.
- Améliorer la détection des points de terminaison dégradés et coordonner le basculement automatique du trafic avec l’équipe de routage.
- Gérer les incidents fournisseurs pendant les astreintes, du triage et de l’atténuation à la communication avec les partenaires, aux analyses post-incident et aux actions de suivi.
- Produire des tableaux de bord fournisseurs et des rapports SLO.
- Apporter une assistance technique de niveau supérieur pour les problèmes liés aux points de terminaison des fournisseurs.
- Développer des canaris continus et des évaluations afin de détecter les régressions de qualité qui passeraient autrement inaperçues.
- Automatiser les opérations fournisseurs, notamment la désactivation des points de terminaison, les changements de capacité, les dépréciations et les ajustements de limites de débit.
- Créer des outils de test de charge des points de terminaison pour évaluer la préparation au lancement et le trafic initial.
- Rendre compte au responsable des opérations fournisseurs.
Exigences
- Au moins quatre ans d’expérience en SRE, en ingénierie de production ou en infrastructure, au service de systèmes à fort trafic destinés aux clients.
- Solides compétences en observabilité, notamment en matière de métriques, de traces, de journaux, de SLO, de budgets d’erreur et d’alertes exploitables.
- Compétences en ingénierie logicielle et préférence pour la création d’outils plutôt que l’application de procédures opérationnelles.
- Expérience avec TypeScript et/ou Python.
- Connaissance des modes de défaillance des systèmes distribués, notamment des délais d’attente, des nouvelles tentatives, du contrôle de surcharge et des pannes partielles.
- Capacité à gérer les incidents avec calme et à communiquer clairement avec des partenaires externes sous pression.
- Compréhension des concepts d’inférence des LLM, ou volonté d’apprendre le streaming, les appels d’outils, la mise en cache des prompts, les compromis entre débit et latence, ainsi que les différences entre les API des fournisseurs.
- Une expérience chez un fournisseur d’inférence, un laboratoire de modèles, un fournisseur de cloud GPU ou une entreprise de passerelle API ou de CDN est un plus.
- Une expérience avec TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP ou Vercel est un plus.
- Une expérience des systèmes de routage, d’équilibrage de charge ou de gestion du trafic est un plus.
- Une expérience des évaluations ou de la supervision synthétique des systèmes d’apprentissage automatique est un plus.