OpenRouter ialah platform kecerdasan buatan yang memberikan cara bersatu kepada pembangun dan pasukan untuk mengakses serta menggunakan model bahasa besar daripada pelbagai penyedia. Katalog modelnya merangkumi pilihan seperti Mistral Small 3 dan DeepSeek R1 Distill Qwen 32B, yang menyokong aplikasi yang mengutamakan kelajuan, ketepatan dan fleksibiliti dalam pemilihan model. OpenRouter turut menawarkan alat untuk pengekodan dan permainan, dengan potensi penggunaan dalam bidang seperti pemasaran, kewangan dan pendidikan.
Jurutera Kebolehpercayaan Tapak, Operasi Penyedia AI — OpenRouter (Jarak Jauh, AS)
Mengendalikan sistem kebolehpercayaan untuk penyedia AI OpenRouter, termasuk kebolehcerapan, pengalihan automatik dan tindak balas insiden. Mengautomasikan pemeriksaan kualiti endpoint, pengurusan kapasiti dan kesediaan pelancaran.
Penerangan
- Membangunkan pemantauan bagi endpoint penyedia serta menjejak kependaman, daya pemprosesan, ralat, masa operasi dan ketepatan output.
- Menetapkan objektif tahap perkhidmatan (SLO) bagi peringkat penyedia dan mengkonfigurasi amaran yang boleh diambil tindakan.
- Menambah baik pengesanan endpoint yang merosot dan menyelaraskan pengalihan trafik automatik dengan pasukan penghalaan.
- Mengurus insiden penyedia semasa bertugas, daripada triage dan mitigasi hingga komunikasi dengan rakan kongsi, postmortem dan tindakan susulan.
- Menyediakan kad skor penyedia dan laporan SLO.
- Memberikan sokongan eskalasi teknikal bagi isu endpoint penyedia.
- Membangunkan canary berterusan dan penilaian untuk mengesan kemerosotan kualiti yang mungkin tersembunyi.
- Mengautomasikan operasi penyedia, termasuk menyahdayakan endpoint, mengubah kapasiti, menamatkan penggunaan dan melaraskan had kadar.
- Mencipta alat ujian beban endpoint untuk menilai kesediaan pelancaran dan trafik awal.
- Melapor kepada Pengurus Operasi Penyedia.
Keperluan
- Sekurang-kurangnya empat tahun pengalaman dalam peranan SRE, kejuruteraan pengeluaran atau infrastruktur yang menyokong sistem trafik tinggi dan berhadapan dengan pelanggan.
- Kemahiran kebolehcerapan yang kukuh, termasuk metrik, penjejakan, log, SLO, belanjawan ralat dan amaran yang boleh diambil tindakan.
- Keupayaan kejuruteraan perisian dan lebih gemar membina alat daripada mengikuti runbook.
- Pengalaman dengan TypeScript dan/atau Python.
- Pengetahuan tentang mod kegagalan sistem teragih, termasuk tamat masa, percubaan semula, backpressure dan gangguan separa.
- Keupayaan memimpin insiden dengan tenang dan berkomunikasi dengan jelas bersama rakan kongsi luar ketika tertekan.
- Memahami konsep inferens LLM atau sanggup mempelajari penstriman, panggilan alat, caching prompt, pertukaran daya pemprosesan dan kependaman serta perbezaan API penyedia.
- Pengalaman di penyedia inferens, makmal model, penyedia awan GPU atau syarikat get laluan API mahupun CDN ialah kelebihan.
- Pengalaman dengan TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP atau Vercel ialah kelebihan.
- Latar belakang dalam penghalaan, pengimbangan beban atau sistem pengurusan trafik ialah kelebihan.
- Pengalaman dengan penilaian atau pemantauan sintetik untuk sistem pembelajaran mesin ialah kelebihan.