OpenRouter là một nền tảng trí tuệ nhân tạo cung cấp cho các nhà phát triển và đội ngũ một phương thức thống nhất để truy cập và làm việc với các mô hình ngôn ngữ lớn từ nhiều nhà cung cấp khác nhau. Danh mục mô hình của nền tảng bao gồm các lựa chọn như Mistral Small 3 và DeepSeek R1 Distill Qwen 32B, hỗ trợ những ứng dụng ưu tiên tốc độ, độ chính xác và khả năng lựa chọn mô hình linh hoạt. OpenRouter cũng cung cấp các công cụ phục vụ lập trình và trò chơi, với tiềm năng ứng dụng trong nhiều lĩnh vực như tiếp thị, tài chính và giáo dục.
Kỹ sư độ tin cậy hệ thống, vận hành nhà cung cấp AI — OpenRouter (Làm việc từ xa, Hoa Kỳ)
Vận hành các hệ thống đảm bảo độ tin cậy cho nhà cung cấp AI của OpenRouter, bao gồm khả năng quan sát, chuyển đổi dự phòng và ứng phó sự cố. Tự động hóa việc kiểm tra chất lượng endpoint, quản lý năng lực và đánh giá mức độ sẵn sàng ra mắt.
Mô tả
- Phát triển hệ thống giám sát endpoint của nhà cung cấp và theo dõi độ trễ, thông lượng, lỗi, thời gian hoạt động cũng như tính chính xác của đầu ra.
- Xác định mục tiêu mức dịch vụ (SLO) cho các cấp nhà cung cấp và thiết lập cảnh báo có thể hành động.
- Cải thiện khả năng phát hiện endpoint suy giảm và phối hợp với nhóm định tuyến để tự động chuyển đổi lưu lượng dự phòng.
- Quản lý sự cố của nhà cung cấp trong ca trực, từ phân loại và giảm thiểu sự cố đến trao đổi với đối tác, họp rút kinh nghiệm và triển khai các việc tiếp theo.
- Lập bảng đánh giá nhà cung cấp và báo cáo SLO.
- Hỗ trợ xử lý kỹ thuật theo cấp đối với các vấn đề về endpoint của nhà cung cấp.
- Phát triển các phép thử canary liên tục và hoạt động đánh giá để phát hiện những suy giảm chất lượng khó nhận biết.
- Tự động hóa hoạt động của nhà cung cấp, bao gồm vô hiệu hóa endpoint, thay đổi năng lực, ngừng cung cấp và điều chỉnh giới hạn tốc độ.
- Tạo công cụ kiểm thử tải endpoint để đánh giá mức độ sẵn sàng ra mắt và lưu lượng ban đầu.
- Báo cáo cho Quản lý Vận hành Nhà cung cấp.
Yêu cầu
- Có ít nhất bốn năm kinh nghiệm trong lĩnh vực SRE, kỹ thuật hệ thống sản xuất hoặc hạ tầng, hỗ trợ các hệ thống phục vụ khách hàng có lưu lượng cao.
- Có kỹ năng vững về khả năng quan sát hệ thống, bao gồm chỉ số, tracing, nhật ký, SLO, ngân sách lỗi và cảnh báo có thể hành động.
- Có năng lực kỹ thuật phần mềm và ưu tiên xây dựng công cụ hơn là làm theo runbook.
- Có kinh nghiệm với TypeScript và/hoặc Python.
- Hiểu các kiểu lỗi của hệ thống phân tán, bao gồm timeout, retry, backpressure và sự cố gián đoạn một phần.
- Có khả năng bình tĩnh điều phối sự cố và giao tiếp rõ ràng với đối tác bên ngoài trong tình huống áp lực.
- Hiểu các khái niệm suy luận LLM hoặc sẵn sàng tìm hiểu về truyền dữ liệu liên tục, gọi công cụ, lưu bộ nhớ đệm prompt, sự đánh đổi giữa thông lượng và độ trễ, cũng như khác biệt giữa các API của nhà cung cấp.
- Kinh nghiệm tại nhà cung cấp dịch vụ suy luận, phòng thí nghiệm mô hình, dịch vụ đám mây GPU, công ty API gateway hoặc CDN là một lợi thế.
- Kinh nghiệm với TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP hoặc Vercel là một lợi thế.
- Có nền tảng về định tuyến, cân bằng tải hoặc hệ thống quản lý lưu lượng là một lợi thế.
- Có kinh nghiệm về đánh giá hoặc giám sát tổng hợp cho hệ thống máy học là một lợi thế.