OpenRouter è una piattaforma di intelligenza artificiale che offre a sviluppatori e team un modo unificato per accedere a modelli linguistici di grandi dimensioni di diversi fornitori e lavorare con essi. Il suo catalogo di modelli include opzioni come Mistral Small 3 e DeepSeek R1 Distill Qwen 32B, a supporto di applicazioni che privilegiano velocità, accuratezza e flessibilità nella scelta del modello. OpenRouter offre inoltre strumenti per la programmazione e il gaming, con possibili applicazioni in ambiti come marketing, finanza e istruzione.
Ingegnere di affidabilità dei siti, operazioni dei provider IA — OpenRouter (da remoto, Stati Uniti)
Gestisci i sistemi di affidabilità dei provider IA di OpenRouter, inclusi osservabilità, failover e risposta agli incidenti. Automatizza i controlli di qualità degli endpoint, la gestione della capacità e la preparazione dei lanci.
Descrizione
- Sviluppare il monitoraggio degli endpoint dei provider e tenere traccia di latenza, throughput, errori, disponibilità e correttezza degli output.
- Definire obiettivi di livello di servizio (SLO) per le fasce di provider e configurare avvisi su cui intervenire.
- Migliorare il rilevamento degli endpoint degradati e coordinare il failover automatico del traffico con il team di routing.
- Gestire gli incidenti dei provider durante la reperibilità, dal triage e dalla mitigazione alla comunicazione con i partner, alle analisi post-incidente e alle azioni successive.
- Produrre scorecard dei provider e report SLO.
- Fornire supporto tecnico di escalation per i problemi degli endpoint dei provider.
- Sviluppare canary continui e valutazioni per individuare regressioni di qualità altrimenti difficili da rilevare.
- Automatizzare le operazioni dei provider, tra cui disattivazione degli endpoint, modifiche della capacità, deprecazioni e adeguamenti dei limiti di frequenza.
- Creare strumenti di load test degli endpoint per valutare la preparazione al lancio e il traffico iniziale.
- Riportare al responsabile delle Operazioni Provider.
Requisiti
- Almeno quattro anni di esperienza in SRE, ingegneria di produzione o infrastrutture a supporto di sistemi ad alto traffico rivolti ai clienti.
- Ottime competenze di osservabilità, incluse metriche, tracing, log, SLO, budget di errore e alert su cui intervenire.
- Capacità di ingegneria del software e preferenza per la creazione di strumenti rispetto all’esecuzione di runbook.
- Esperienza con TypeScript e/o Python.
- Conoscenza delle modalità di guasto dei sistemi distribuiti, inclusi timeout, retry, backpressure e interruzioni parziali.
- Capacità di gestire gli incidenti con calma e comunicare chiaramente con partner esterni sotto pressione.
- Conoscenza dei concetti di inferenza degli LLM oppure disponibilità ad approfondire streaming, chiamate agli strumenti, cache dei prompt, compromessi tra throughput e latenza e differenze tra le API dei provider.
- Costituisce un plus l’esperienza presso un provider di inferenza, un laboratorio di modelli, un cloud GPU o un’azienda di gateway API o CDN.
- Costituisce un plus l’esperienza con TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP o Vercel.
- Costituisce un plus l’esperienza con sistemi di routing, bilanciamento del carico o gestione del traffico.
- Costituisce un plus l’esperienza con valutazioni o monitoraggio sintetico per sistemi di apprendimento automatico.