OpenRouter to platforma sztucznej inteligencji, która zapewnia deweloperom i zespołom ujednolicony sposób uzyskiwania dostępu do dużych modeli językowych różnych dostawców oraz pracy z nimi. Jej katalog modeli obejmuje między innymi Mistral Small 3 i DeepSeek R1 Distill Qwen 32B, wspierając aplikacje, w których liczą się szybkość, dokładność i elastyczny wybór modelu. OpenRouter oferuje także narzędzia do programowania i gier, a potencjalne zastosowania obejmują marketing, finanse i edukację.
Inżynier niezawodności serwisów, operacje dostawców AI — OpenRouter (zdalnie, USA)
Dbaj o niezawodność dostawców AI OpenRouter, w tym o obserwowalność, przełączanie ruchu i reagowanie na incydenty. Automatyzuj kontrole jakości endpointów, zarządzanie przepustowością i przygotowanie do uruchomień.
Opis
- Twórz monitoring endpointów dostawców i śledź opóźnienia, przepustowość, błędy, dostępność oraz poprawność odpowiedzi.
- Określaj cele poziomu usług (SLO) dla poszczególnych kategorii dostawców i konfiguruj użyteczne alerty.
- Usprawniaj wykrywanie problemów z endpointami i koordynuj automatyczne przełączanie ruchu z zespołem routingu.
- Pełnij dyżury podczas incydentów u dostawców: od wstępnej oceny i ograniczania skutków po komunikację z partnerami, analizy powłamaniowe i działania następcze.
- Przygotowuj zestawienia wyników dostawców i raporty SLO.
- Zapewniaj wsparcie techniczne przy eskalacji problemów z endpointami dostawców.
- Twórz ciągłe testy canary i ewaluacje, które wykrywają trudne do zauważenia regresje jakości.
- Automatyzuj operacje związane z dostawcami, w tym wyłączanie endpointów, zmiany przepustowości, wycofywanie usług i dostosowywanie limitów zapytań.
- Twórz narzędzia do testów obciążeniowych endpointów, aby oceniać gotowość do uruchomienia i obsługi początkowego ruchu.
- Raportuj do menedżera ds. operacji dostawców.
Wymagania
- Co najmniej cztery lata doświadczenia w SRE, inżynierii produkcyjnej lub rolach infrastrukturalnych związanych z obsługą systemów o dużym ruchu, dostępnych dla klientów.
- Bardzo dobra znajomość obserwowalności, w tym metryk, śledzenia, logów, SLO, budżetów błędów i użytecznych alertów.
- Umiejętności tworzenia oprogramowania i preferowanie budowania narzędzi zamiast wykonywania gotowych instrukcji.
- Doświadczenie z TypeScript i/lub Pythonem.
- Znajomość trybów awarii systemów rozproszonych, w tym limitów czasu, ponowień, backpressure i częściowych awarii.
- Umiejętność spokojnego prowadzenia działań podczas incydentów i jasnej komunikacji z partnerami zewnętrznymi pod presją.
- Znajomość wnioskowania LLM lub gotowość do poznania strumieniowania, wywoływania narzędzi, buforowania promptów, kompromisów między przepustowością a opóźnieniem oraz różnic między API dostawców.
- Doświadczenie u dostawcy usług wnioskowania, w laboratorium modeli, chmurze GPU, firmie oferującej bramki API lub CDN będzie dodatkowym atutem.
- Doświadczenie z TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP lub Vercel będzie dodatkowym atutem.
- Doświadczenie w routingu, równoważeniu obciążenia lub systemach zarządzania ruchem będzie dodatkowym atutem.
- Doświadczenie w ewaluacji lub monitoringu syntetycznym systemów uczenia maszynowego będzie dodatkowym atutem.