
OpenRouter เป็นแพลตฟอร์มปัญญาประดิษฐ์ที่ช่วยให้นักพัฒนาและทีมงานเข้าถึงและทำงานกับโมเดลภาษาขนาดใหญ่จากผู้ให้บริการหลายรายได้ผ่านวิธีการแบบรวมศูนย์ แคตตาล็อกโมเดลของแพลตฟอร์มมีตัวเลือกต่าง ๆ เช่น Mistral Small 3 และ DeepSeek R1 Distill Qwen 32B ซึ่งรองรับแอปพลิเคชันที่ให้ความสำคัญกับความเร็ว ความแม่นยำ และความยืดหยุ่นในการเลือกโมเดล นอกจากนี้ OpenRouter ยังมีเครื่องมือสำหรับการเขียนโค้ดและการพัฒนาเกม โดยสามารถนำไปประยุกต์ใช้ในหลากหลายด้าน เช่น การตลาด การเงิน และการศึกษา
วิศวกรความเชื่อถือได้ของระบบ ฝ่ายปฏิบัติการผู้ให้บริการ AI — OpenRouter (ทำงานทางไกล สหรัฐฯ)
ดูแลระบบความเชื่อถือได้สำหรับผู้ให้บริการ AI ของ OpenRouter ครอบคลุมการสังเกตการณ์ระบบ การสลับไปใช้ระบบสำรอง และการรับมือเหตุขัดข้อง ระบบอัตโนมัติสำหรับตรวจคุณภาพเอ็นด์พอยต์ จัดการความจุ และประเมินความพร้อมก่อนเปิดตัว
รายละเอียด
- พัฒนาระบบมอนิเตอร์เอ็นด์พอยต์ของผู้ให้บริการ และติดตามเวลาแฝง ปริมาณงาน ข้อผิดพลาด เวลาพร้อมใช้งาน และความถูกต้องของผลลัพธ์
- กำหนดเป้าหมายระดับบริการ (SLO) สำหรับแต่ละระดับของผู้ให้บริการ และตั้งค่าการแจ้งเตือนที่นำไปดำเนินการได้
- ปรับปรุงการตรวจจับเอ็นด์พอยต์ที่ประสิทธิภาพลดลง และประสานงานกับทีมกำหนดเส้นทางเพื่อสลับทราฟฟิกไปยังระบบสำรองโดยอัตโนมัติ
- ดูแลเหตุขัดข้องของผู้ให้บริการระหว่างเข้าเวร ตั้งแต่การคัดแยกและบรรเทาปัญหา ไปจนถึงการสื่อสารกับพาร์ตเนอร์ การประชุมทบทวนเหตุการณ์ และการติดตามงานต่อเนื่อง
- จัดทำตารางประเมินผู้ให้บริการและรายงาน SLO
- ให้การสนับสนุนทางเทคนิคในระดับส่งต่อปัญหาเกี่ยวกับเอ็นด์พอยต์ของผู้ให้บริการ
- พัฒนาการทดสอบ canary และการประเมินผลอย่างต่อเนื่อง เพื่อค้นหาคุณภาพที่ถดถอยแต่ตรวจพบได้ยาก
- ทำให้การปฏิบัติงานของผู้ให้บริการเป็นระบบอัตโนมัติ ครอบคลุมการปิดใช้งานเอ็นด์พอยต์ การเปลี่ยนแปลงความจุ การยุติการให้บริการ และการปรับขีดจำกัดอัตราการใช้งาน
- สร้างเครื่องมือทดสอบโหลดเอ็นด์พอยต์เพื่อประเมินความพร้อมก่อนเปิดตัวและรองรับทราฟฟิกเริ่มต้น
- รายงานต่อผู้จัดการฝ่ายปฏิบัติการผู้ให้บริการ
คุณสมบัติ
- มีประสบการณ์อย่างน้อยสี่ปีในงาน SRE วิศวกรรมระบบโปรดักชัน หรืองานโครงสร้างพื้นฐานที่รองรับระบบปริมาณทราฟฟิกสูงและให้บริการลูกค้าโดยตรง
- มีทักษะด้านการสังเกตการณ์ระบบที่แข็งแกร่ง ครอบคลุมเมตริก การติดตามทรานแซกชัน ล็อก SLO งบประมาณข้อผิดพลาด และการแจ้งเตือนที่นำไปดำเนินการได้
- มีทักษะด้านวิศวกรรมซอฟต์แวร์ และชอบสร้างเครื่องมือมากกว่าทำตาม runbook
- มีประสบการณ์กับ TypeScript และ/หรือ Python
- เข้าใจรูปแบบความล้มเหลวของระบบกระจาย รวมถึง timeout, retry, backpressure และเหตุขัดข้องบางส่วน
- สามารถนำทีมรับมือเหตุขัดข้องได้อย่างสุขุม และสื่อสารกับพาร์ตเนอร์ภายนอกได้ชัดเจนภายใต้แรงกดดัน
- เข้าใจแนวคิดการอนุมานของ LLM หรือพร้อมเรียนรู้เรื่องการสตรีม การเรียกใช้เครื่องมือ การแคชพรอมป์ต์ ข้อแลกเปลี่ยนระหว่างปริมาณงานกับเวลาแฝง และความแตกต่างของ API จากผู้ให้บริการแต่ละราย
- มีประสบการณ์กับผู้ให้บริการการอนุมาน ห้องปฏิบัติการโมเดล ผู้ให้บริการคลาวด์ GPU หรือบริษัท API gateway หรือ CDN จะได้รับการพิจารณาเป็นพิเศษ
- มีประสบการณ์กับ TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP หรือ Vercel จะได้รับการพิจารณาเป็นพิเศษ
- มีพื้นฐานด้านการกำหนดเส้นทาง การทำโหลดบาลานซ์ หรือระบบจัดการทราฟฟิกจะได้รับการพิจารณาเป็นพิเศษ
- มีประสบการณ์ด้านการประเมินผลหรือการมอนิเตอร์สังเคราะห์สำหรับระบบแมชชีนเลิร์นนิงจะได้รับการพิจารณาเป็นพิเศษ