OpenRouter adalah platform kecerdasan buatan yang menyediakan cara terpadu bagi pengembang dan tim untuk mengakses serta menggunakan model bahasa besar dari berbagai penyedia. Katalog modelnya mencakup pilihan seperti Mistral Small 3 dan DeepSeek R1 Distill Qwen 32B, yang mendukung aplikasi yang mengutamakan kecepatan, akurasi, dan fleksibilitas dalam memilih model. OpenRouter juga menawarkan berbagai alat untuk pemrograman dan permainan, dengan potensi penerapan di bidang seperti pemasaran, keuangan, dan pendidikan.
Insinyur Keandalan Situs, Operasi Penyedia AI — OpenRouter (Jarak Jauh, AS)
Mengelola sistem keandalan untuk penyedia AI OpenRouter, termasuk observabilitas, pengalihan otomatis, dan respons insiden. Mengotomatiskan pemeriksaan kualitas endpoint, pengelolaan kapasitas, dan kesiapan peluncuran.
Deskripsi
- Mengembangkan pemantauan untuk endpoint penyedia dan melacak latensi, throughput, kesalahan, waktu aktif, serta ketepatan output.
- Menetapkan sasaran tingkat layanan (SLO) untuk tingkat penyedia dan mengonfigurasi peringatan yang dapat ditindaklanjuti.
- Meningkatkan deteksi endpoint yang menurun kinerjanya dan mengoordinasikan pengalihan lalu lintas otomatis bersama tim perutean.
- Menangani insiden penyedia saat piket, mulai dari triase dan mitigasi hingga komunikasi dengan mitra, postmortem, dan tindakan lanjutan.
- Menyusun kartu skor penyedia dan laporan SLO.
- Memberikan dukungan eskalasi teknis untuk masalah endpoint penyedia.
- Mengembangkan canary berkelanjutan dan evaluasi untuk mendeteksi penurunan kualitas yang mungkin tersembunyi.
- Mengotomatiskan operasi penyedia, termasuk menonaktifkan endpoint, mengubah kapasitas, melakukan penghentian layanan, dan menyesuaikan batas laju.
- Membuat alat uji beban endpoint untuk menilai kesiapan peluncuran dan lalu lintas awal.
- Melapor kepada Manajer Operasi Penyedia.
Persyaratan
- Minimal empat tahun bekerja di bidang SRE, rekayasa produksi, atau infrastruktur yang mendukung sistem bertrafik tinggi dan berhadapan langsung dengan pelanggan.
- Menguasai observabilitas, termasuk metrik, tracing, log, SLO, anggaran kesalahan, dan sistem peringatan yang dapat ditindaklanjuti.
- Mampu melakukan rekayasa perangkat lunak dan lebih suka membangun alat daripada mengikuti runbook.
- Berpengalaman menggunakan TypeScript dan/atau Python.
- Memahami mode kegagalan sistem terdistribusi, termasuk timeout, percobaan ulang, backpressure, dan gangguan sebagian.
- Mampu memimpin penanganan insiden dengan tenang dan berkomunikasi secara jelas dengan mitra eksternal dalam situasi penuh tekanan.
- Memahami konsep inferensi LLM atau bersedia mempelajari streaming, pemanggilan alat, caching prompt, kompromi throughput dan latensi, serta perbedaan API penyedia.
- Pengalaman di penyedia inferensi, laboratorium model, layanan cloud GPU, atau perusahaan API gateway maupun CDN menjadi nilai tambah.
- Pengalaman menggunakan TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP, atau Vercel menjadi nilai tambah.
- Latar belakang di bidang perutean, penyeimbangan beban, atau sistem pengelolaan lalu lintas menjadi nilai tambah.
- Pengalaman dengan evaluasi atau pemantauan sintetis untuk sistem pembelajaran mesin menjadi nilai tambah.