OpenRouter, geliştiricilere ve ekiplere farklı sağlayıcılara ait büyük dil modellerine erişmek ve bu modellerle çalışmak için birleşik bir yol sunan bir yapay zekâ platformudur. Model kataloğunda Mistral Small 3 ve DeepSeek R1 Distill Qwen 32B gibi seçenekler yer alır; platform hız, doğruluk ve esnek model seçimine öncelik veren uygulamaları destekler. OpenRouter ayrıca kodlama ve oyun geliştirme araçları sunar; pazarlama, finans ve eğitim gibi alanlarda da kullanılabilir.
Site Reliability Engineer, Yapay Zekâ Sağlayıcı Operasyonları — OpenRouter (Uzaktan, ABD)
OpenRouter’ın yapay zekâ sağlayıcıları için gözlemlenebilirlik, yedekli geçiş ve olay müdahalesi dâhil güvenilirlik sistemlerini yönetin. Uç nokta kalitesi kontrollerini, kapasite yönetimini ve kullanıma alıma hazırlığı otomatikleştirin.
Açıklama
- Sağlayıcı uç noktaları için izleme sistemleri geliştirin; gecikme, aktarım hızı, hatalar, çalışma süresi ve çıktı doğruluğunu takip edin.
- Sağlayıcı katmanları için hizmet seviyesi hedefleri (SLO) tanımlayın ve müdahale edilebilir uyarılar yapılandırın.
- Performansı düşen uç noktaların tespitini iyileştirin ve yönlendirme ekibiyle otomatik trafik geçişini koordine edin.
- Sağlayıcı olaylarında nöbetçi olarak ilk inceleme ve azaltmadan iş ortağı iletişimine, olay sonrası değerlendirmelere ve takip aksiyonlarına kadar süreci yönetin.
- Sağlayıcı puan kartları ve SLO raporları hazırlayın.
- Sağlayıcı uç noktası sorunlarında teknik eskalasyon desteği sunun.
- Gizli kalabilecek kalite gerilemelerini yakalamak için sürekli canary testleri ve değerlendirmeler geliştirin.
- Uç noktaların devre dışı bırakılması, kapasite değişiklikleri, kullanımdan kaldırma ve hız sınırı ayarlamaları dâhil sağlayıcı operasyonlarını otomatikleştirin.
- Kullanıma alım hazırlığını ve ilk trafiği değerlendirmek için uç nokta yük testi araçları oluşturun.
- Sağlayıcı Operasyonları Yöneticisine bağlı çalışın.
Gereksinimler
- Yüksek trafikli, müşteriye dönük sistemleri destekleyen SRE, üretim mühendisliği veya altyapı rollerinde en az dört yıllık deneyim.
- Metrikler, izleme izleri, günlükler, SLO'lar, hata bütçeleri ve eyleme dönüştürülebilir uyarılar dâhil güçlü gözlemlenebilirlik becerileri.
- Yazılım mühendisliği becerisi ve runbook'ları izlemek yerine araç geliştirmeyi tercih etme.
- TypeScript ve/veya Python deneyimi.
- Zaman aşımları, yeniden denemeler, geri basınç ve kısmi kesintiler dâhil dağıtık sistemlerdeki hata türlerine ilişkin bilgi.
- Olayları sakin biçimde yönetebilme ve baskı altında dış iş ortaklarıyla açık iletişim kurabilme.
- LLM çıkarımı kavramlarını anlama ya da akış, araç çağırma, istem önbelleğe alma, aktarım hızı ve gecikme ödünleşimleri ile sağlayıcı API farklılıklarını öğrenmeye istekli olma.
- Bir çıkarım sağlayıcısında, model laboratuvarında, GPU bulutunda veya API ağ geçidi ya da CDN şirketinde deneyim tercih sebebidir.
- TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP veya Vercel deneyimi tercih sebebidir.
- Yönlendirme, yük dengeleme veya trafik yönetimi sistemleri geçmişi tercih sebebidir.
- Makine öğrenimi sistemlerine yönelik değerlendirme veya sentetik izleme deneyimi tercih sebebidir.