OpenRouter היא פלטפורמת בינה מלאכותית שמעניקה למפתחים ולצוותים דרך אחידה לגשת למודלי שפה גדולים מספקים שונים ולעבוד איתם. קטלוג המודלים שלה כולל אפשרויות כמו Mistral Small 3 ו-DeepSeek R1 Distill Qwen 32B, ותומך ביישומים שמעדיפים מהירות, דיוק וגמישות בבחירת המודל. OpenRouter מציעה גם כלים לתכנות ולמשחקים, עם שימושים אפשריים בתחומים כמו שיווק, פיננסים וחינוך.
מהנדס אמינות אתרים, תפעול ספקי בינה מלאכותית — OpenRouter (עבודה מרחוק, ארה״ב)
תפעול מערכות האמינות של ספקי הבינה המלאכותית של OpenRouter, כולל נראות, מעבר אוטומטי במקרה של כשל ותגובה לאירועים. אוטומציה של בדיקות איכות לנקודות קצה, ניהול קיבולת ומוכנות להשקה.
תיאור
- פיתוח ניטור לנקודות הקצה של הספקים ומעקב אחר השהיה, תפוקה, שגיאות, זמינות ונכונות הפלטים.
- הגדרת יעדי רמת שירות (SLOs) לשכבות ספקים והגדרת התראות שמאפשרות פעולה.
- שיפור הזיהוי של נקודות קצה שפועלות באופן לקוי ותיאום מעבר אוטומטי של תעבורה עם צוות הניתוב.
- ניהול אירועי ספקים במסגרת תורנות, החל ממיון וטיפול ועד לתקשורת עם שותפים, תחקירים ופעולות המשך.
- הפקת כרטיסי הערכה לספקים ודוחות SLO.
- מתן תמיכה טכנית בהסלמת בעיות בנקודות הקצה של הספקים.
- פיתוח בדיקות canary והערכות רציפות לאיתור נסיגות איכות שעלולות להישאר סמויות.
- אוטומציה של תפעול הספקים, לרבות השבתת נקודות קצה, שינויי קיבולת, הוצאה משימוש והתאמות של מגבלות קצב.
- יצירת כלים לבדיקת עומסים בנקודות קצה כדי להעריך מוכנות להשקה ותעבורה ראשונית.
- דיווח למנהל תפעול הספקים.
דרישות
- לפחות ארבע שנות ניסיון בתפקידי SRE, הנדסת ייצור או תשתיות, בתמיכה במערכות עתירות תעבורה הפונות ללקוחות.
- מיומנויות חזקות בנראות, כולל מדדים, tracing, יומנים, SLOs, תקציבי שגיאות והתראות שניתן לפעול לפיהן.
- יכולת בהנדסת תוכנה והעדפה לבניית כלים על פני עבודה לפי מדריכי הפעלה.
- ניסיון ב-TypeScript ו/או Python.
- היכרות עם מצבי כשל במערכות מבוזרות, כולל timeouts, ניסיונות חוזרים, backpressure והשבתות חלקיות.
- יכולת להוביל אירועים ברוגע ולתקשר בבהירות עם שותפים חיצוניים תחת לחץ.
- הבנת מושגים בהסקה של מודלי שפה גדולים, או נכונות ללמוד על streaming, קריאות לכלים, שמירת מטמון של prompts, פשרות בין תפוקה להשהיה והבדלים בין ממשקי API של ספקים.
- ניסיון אצל ספק הסקה, מעבדת מודלים, ספק ענן GPU או חברת API gateway או CDN הוא יתרון.
- ניסיון ב-TypeScript, ב-Cloudflare Workers, ב-Postgres, ב-ClickHouse, ב-GCP או ב-Vercel הוא יתרון.
- רקע במערכות ניתוב, איזון עומסים או ניהול תעבורה הוא יתרון.
- ניסיון בהערכות או בניטור סינתטי למערכות למידת מכונה הוא יתרון.