OpenRouter
OpenRouter
OpenRouter เป็นแพลตฟอร์มปัญญาประดิษฐ์ที่ช่วยให้นักพัฒนาและทีมงานเข้าถึงและทำงานกับโมเดลภาษาขนาดใหญ่จากผู้ให้บริการหลายรายได้ผ่านวิธีการแบบรวมศูนย์ แคตตาล็อกโมเดลของแพลตฟอร์มมีตัวเลือกต่าง ๆ เช่น Mistral Small 3 และ DeepSeek R1 Distill Qwen 32B ซึ่งรองรับแอปพลิเคชันที่ให้ความสำคัญกับความเร็ว ความแม่นยำ และความยืดหยุ่นในการเลือกโมเดล นอกจากนี้ OpenRouter ยังมีเครื่องมือสำหรับการเขียนโค้ดและการพัฒนาเกม โดยสามารถนำไปประยุกต์ใช้ในหลากหลายด้าน เช่น การตลาด การเงิน และการศึกษา

วิศวกรความเชื่อถือได้ของระบบ ฝ่ายปฏิบัติการผู้ให้บริการ AI — OpenRouter (ทำงานทางไกล สหรัฐฯ)

ดูแลระบบความเชื่อถือได้สำหรับผู้ให้บริการ AI ของ OpenRouter ครอบคลุมการสังเกตการณ์ระบบ การสลับไปใช้ระบบสำรอง และการรับมือเหตุขัดข้อง ระบบอัตโนมัติสำหรับตรวจคุณภาพเอ็นด์พอยต์ จัดการความจุ และประเมินความพร้อมก่อนเปิดตัว

รายละเอียด

  • พัฒนาระบบมอนิเตอร์เอ็นด์พอยต์ของผู้ให้บริการ และติดตามเวลาแฝง ปริมาณงาน ข้อผิดพลาด เวลาพร้อมใช้งาน และความถูกต้องของผลลัพธ์
  • กำหนดเป้าหมายระดับบริการ (SLO) สำหรับแต่ละระดับของผู้ให้บริการ และตั้งค่าการแจ้งเตือนที่นำไปดำเนินการได้
  • ปรับปรุงการตรวจจับเอ็นด์พอยต์ที่ประสิทธิภาพลดลง และประสานงานกับทีมกำหนดเส้นทางเพื่อสลับทราฟฟิกไปยังระบบสำรองโดยอัตโนมัติ
  • ดูแลเหตุขัดข้องของผู้ให้บริการระหว่างเข้าเวร ตั้งแต่การคัดแยกและบรรเทาปัญหา ไปจนถึงการสื่อสารกับพาร์ตเนอร์ การประชุมทบทวนเหตุการณ์ และการติดตามงานต่อเนื่อง
  • จัดทำตารางประเมินผู้ให้บริการและรายงาน SLO
  • ให้การสนับสนุนทางเทคนิคในระดับส่งต่อปัญหาเกี่ยวกับเอ็นด์พอยต์ของผู้ให้บริการ
  • พัฒนาการทดสอบ canary และการประเมินผลอย่างต่อเนื่อง เพื่อค้นหาคุณภาพที่ถดถอยแต่ตรวจพบได้ยาก
  • ทำให้การปฏิบัติงานของผู้ให้บริการเป็นระบบอัตโนมัติ ครอบคลุมการปิดใช้งานเอ็นด์พอยต์ การเปลี่ยนแปลงความจุ การยุติการให้บริการ และการปรับขีดจำกัดอัตราการใช้งาน
  • สร้างเครื่องมือทดสอบโหลดเอ็นด์พอยต์เพื่อประเมินความพร้อมก่อนเปิดตัวและรองรับทราฟฟิกเริ่มต้น
  • รายงานต่อผู้จัดการฝ่ายปฏิบัติการผู้ให้บริการ

คุณสมบัติ

  • มีประสบการณ์อย่างน้อยสี่ปีในงาน SRE วิศวกรรมระบบโปรดักชัน หรืองานโครงสร้างพื้นฐานที่รองรับระบบปริมาณทราฟฟิกสูงและให้บริการลูกค้าโดยตรง
  • มีทักษะด้านการสังเกตการณ์ระบบที่แข็งแกร่ง ครอบคลุมเมตริก การติดตามทรานแซกชัน ล็อก SLO งบประมาณข้อผิดพลาด และการแจ้งเตือนที่นำไปดำเนินการได้
  • มีทักษะด้านวิศวกรรมซอฟต์แวร์ และชอบสร้างเครื่องมือมากกว่าทำตาม runbook
  • มีประสบการณ์กับ TypeScript และ/หรือ Python
  • เข้าใจรูปแบบความล้มเหลวของระบบกระจาย รวมถึง timeout, retry, backpressure และเหตุขัดข้องบางส่วน
  • สามารถนำทีมรับมือเหตุขัดข้องได้อย่างสุขุม และสื่อสารกับพาร์ตเนอร์ภายนอกได้ชัดเจนภายใต้แรงกดดัน
  • เข้าใจแนวคิดการอนุมานของ LLM หรือพร้อมเรียนรู้เรื่องการสตรีม การเรียกใช้เครื่องมือ การแคชพรอมป์ต์ ข้อแลกเปลี่ยนระหว่างปริมาณงานกับเวลาแฝง และความแตกต่างของ API จากผู้ให้บริการแต่ละราย
  • มีประสบการณ์กับผู้ให้บริการการอนุมาน ห้องปฏิบัติการโมเดล ผู้ให้บริการคลาวด์ GPU หรือบริษัท API gateway หรือ CDN จะได้รับการพิจารณาเป็นพิเศษ
  • มีประสบการณ์กับ TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP หรือ Vercel จะได้รับการพิจารณาเป็นพิเศษ
  • มีพื้นฐานด้านการกำหนดเส้นทาง การทำโหลดบาลานซ์ หรือระบบจัดการทราฟฟิกจะได้รับการพิจารณาเป็นพิเศษ
  • มีประสบการณ์ด้านการประเมินผลหรือการมอนิเตอร์สังเคราะห์สำหรับระบบแมชชีนเลิร์นนิงจะได้รับการพิจารณาเป็นพิเศษ