Το OpenRouter είναι μια πλατφόρμα τεχνητής νοημοσύνης που προσφέρει σε προγραμματιστές και ομάδες έναν ενιαίο τρόπο πρόσβασης και εργασίας με μεγάλα γλωσσικά μοντέλα από διαφορετικούς παρόχους. Ο κατάλογος μοντέλων του περιλαμβάνει επιλογές όπως τα Mistral Small 3 και DeepSeek R1 Distill Qwen 32B, υποστηρίζοντας εφαρμογές που δίνουν προτεραιότητα στην ταχύτητα, την ακρίβεια και την ευελιξία στην επιλογή μοντέλου. Το OpenRouter προσφέρει επίσης εργαλεία για προγραμματισμό και παιχνίδια, με πιθανές εφαρμογές σε τομείς όπως το μάρκετινγκ, τα χρηματοοικονομικά και η εκπαίδευση.
Μηχανικός αξιοπιστίας ιστοτόπων, λειτουργίες παρόχων AI — OpenRouter (εξ αποστάσεως, ΗΠΑ)
Λειτουργία των συστημάτων αξιοπιστίας για τους παρόχους AI του OpenRouter, με παρατηρησιμότητα, εναλλαγή σε περίπτωση αστοχίας και απόκριση σε περιστατικά. Αυτοματοποίηση ελέγχων ποιότητας endpoint, διαχείριση χωρητικότητας και ετοιμότητα κυκλοφορίας.
Περιγραφή
- Ανάπτυξη παρακολούθησης για τα endpoint των παρόχων και καταγραφή καθυστέρησης, ρυθμαπόδοσης, σφαλμάτων, διαθεσιμότητας και ορθότητας εξόδου.
- Καθορισμός στόχων επιπέδου υπηρεσίας (SLO) για τις βαθμίδες παρόχων και ρύθμιση ειδοποιήσεων που επιτρέπουν άμεση ενέργεια.
- Βελτίωση του εντοπισμού υποβαθμισμένων endpoint και συντονισμός της αυτόματης μεταγωγής κίνησης με την ομάδα δρομολόγησης.
- Διαχείριση περιστατικών παρόχων κατά την εφημερία, από την αρχική διαλογή και τον μετριασμό έως την επικοινωνία με συνεργάτες, τις ανασκοπήσεις μετά το περιστατικό και τις ενέργειες παρακολούθησης.
- Σύνταξη καρτών αξιολόγησης παρόχων και αναφορών SLO.
- Παροχή τεχνικής υποστήριξης κλιμάκωσης για προβλήματα στα endpoint παρόχων.
- Ανάπτυξη συνεχών canary ελέγχων και αξιολογήσεων για τον εντοπισμό υποβαθμίσεων ποιότητας που διαφορετικά θα περνούσαν απαρατήρητες.
- Αυτοματοποίηση λειτουργιών παρόχων, όπως απενεργοποίηση endpoint, αλλαγές χωρητικότητας, κατάργηση υπηρεσιών και προσαρμογές ορίων ρυθμού.
- Δημιουργία εργαλείων δοκιμών φόρτου endpoint για την αξιολόγηση της ετοιμότητας κυκλοφορίας και της αρχικής κίνησης.
- Αναφορά στον Διευθυντή Λειτουργιών Παρόχων.
Απαιτήσεις
- Τουλάχιστον τέσσερα χρόνια εμπειρίας σε SRE, μηχανική παραγωγής ή υποδομές, με υποστήριξη συστημάτων υψηλής επισκεψιμότητας που εξυπηρετούν πελάτες.
- Ισχυρές δεξιότητες παρατηρησιμότητας, όπως μετρικές, tracing, αρχεία καταγραφής, SLO, προϋπολογισμοί σφαλμάτων και ειδοποιήσεις που οδηγούν σε δράση.
- Ικανότητα ανάπτυξης λογισμικού και προτίμηση στη δημιουργία εργαλείων αντί της τήρησης εγχειριδίων λειτουργίας.
- Εμπειρία με TypeScript και/ή Python.
- Γνώση τρόπων αστοχίας κατανεμημένων συστημάτων, όπως χρονικά όρια, επαναλήψεις, backpressure και μερικές διακοπές λειτουργίας.
- Ικανότητα ψύχραιμης ηγεσίας σε περιστατικά και σαφούς επικοινωνίας με εξωτερικούς συνεργάτες υπό πίεση.
- Κατανόηση εννοιών συναγωγής LLM ή διάθεση εκμάθησης για streaming, κλήσεις εργαλείων, προσωρινή αποθήκευση prompt, συμβιβασμούς ρυθμαπόδοσης και καθυστέρησης και διαφορές μεταξύ API παρόχων.
- Εμπειρία σε πάροχο συναγωγής, εργαστήριο μοντέλων, πάροχο υπολογιστικού νέφους GPU ή εταιρεία API gateway ή CDN αποτελεί επιπλέον προσόν.
- Εμπειρία με TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP ή Vercel αποτελεί επιπλέον προσόν.
- Υπόβαθρο σε συστήματα δρομολόγησης, εξισορρόπησης φορτίου ή διαχείρισης κίνησης αποτελεί επιπλέον προσόν.
- Εμπειρία σε αξιολογήσεις ή συνθετική παρακολούθηση συστημάτων μηχανικής μάθησης αποτελεί επιπλέον προσόν.