A OpenRouter é uma plataforma de inteligência artificial que oferece a desenvolvedores e equipes uma forma unificada de acessar e trabalhar com modelos de linguagem de grande porte de diferentes provedores. Seu catálogo de modelos inclui opções como Mistral Small 3 e DeepSeek R1 Distill Qwen 32B, dando suporte a aplicações que priorizam velocidade, precisão e flexibilidade na escolha de modelos. A OpenRouter também oferece ferramentas para programação e jogos, com possíveis aplicações em áreas como marketing, finanças e educação.
Engenheiro(a) de confiabilidade de sites, operações de provedores de IA — OpenRouter (remoto, EUA)
Opera os sistemas de confiabilidade dos provedores de IA da OpenRouter, incluindo observabilidade, failover e resposta a incidentes. Automatiza verificações de qualidade de endpoints, gestão de capacidade e preparação para lançamentos.
Descrição
- Desenvolve o monitoramento dos endpoints dos provedores e acompanha latência, throughput, erros, disponibilidade e correção das respostas.
- Define objetivos de nível de serviço (SLOs) para as categorias de provedores e configura alertas que orientem ações.
- Aprimora a detecção de endpoints degradados e coordena o failover automático de tráfego com a equipe de roteamento.
- Gerencia incidentes de provedores durante o plantão, da triagem e mitigação à comunicação com parceiros, às análises pós-incidente e às ações de acompanhamento.
- Elabora scorecards de provedores e relatórios de SLO.
- Oferece suporte técnico de escalonamento para problemas nos endpoints dos provedores.
- Desenvolve canários contínuos e avaliações para detectar regressões de qualidade que poderiam passar despercebidas.
- Automatiza operações de provedores, incluindo desativação de endpoints, mudanças de capacidade, descontinuações e ajustes de limites de taxa.
- Cria ferramentas de teste de carga de endpoints para avaliar a preparação para o lançamento e o tráfego inicial.
- Responde ao(à) gerente de Operações de Provedores.
Requisitos
- Pelo menos quatro anos de experiência em SRE, engenharia de produção ou infraestrutura, com sistemas de alto tráfego voltados a clientes.
- Forte conhecimento de observabilidade, incluindo métricas, tracing, logs, SLOs, orçamentos de erro e alertas acionáveis.
- Capacidade de engenharia de software e preferência por criar ferramentas em vez de seguir runbooks.
- Experiência com TypeScript e/ou Python.
- Conhecimento dos modos de falha de sistemas distribuídos, incluindo timeouts, tentativas, backpressure e indisponibilidades parciais.
- Capacidade de liderar incidentes com tranquilidade e se comunicar com clareza com parceiros externos sob pressão.
- Compreensão de conceitos de inferência de LLMs ou disposição para aprender sobre streaming, chamadas de ferramentas, cache de prompts, relações entre throughput e latência e diferenças entre APIs de provedores.
- Experiência em um provedor de inferência, laboratório de modelos, nuvem de GPUs ou empresa de gateway de API ou CDN é um diferencial.
- Experiência com TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP ou Vercel é um diferencial.
- Experiência com sistemas de roteamento, balanceamento de carga ou gestão de tráfego é um diferencial.
- Experiência com avaliações ou monitoramento sintético para sistemas de aprendizado de máquina é um diferencial.