TMTG, או קבוצת טראמפ למדיה ולטכנולוגיה, היא חברת מדיה וטכנולוגיה שהפלטפורמות שלה מתמקדות ברשתות חברתיות, בידור בסטרימינג, חדשות ותרבות. היא מספקת מרחבים למשתמשים וליוצרי תוכן לשיתוף ולפרסום תוכן, ומציגה את שירותיה כחלופות לנרטיבים של התקשורת המרכזית.
מהנדס/ת בקאנד בכיר/ה, פלטפורמת AI
פיתוח יכולות LLM לסביבת ייצור ותשתית AI בסיסית עבור פלטפורמת מדיה חברתית המשרתת מיליוני משתמשים. הובלת מערכות אחזור, הגשת מודלים, הערכה ובטיחות.
תיאור
- פיתוח יכולות AI לפלטפורמת מדיה חברתית עם מיליוני משתמשים.
- עבודה צמודה עם ארכיטקט הפלטפורמה וצוות ההנדסה.
- יצירת תשתית AI בסיסית בסביבה חדשה שנבנית מאפס.
- סיוע בהגדרת שיטות עבודה הנדסיות ככל שהצוות גדל.
- חיבור שירותים ליישומי Ruby on Rails ו-React/TypeScript.
- אחריות על שירותי בקאנד מתכנון סכמת הנתונים ועד לפריסה ולתפעול תורנות תמיכה.
- בנייה ותפעול של מערכות להגשת LLM, אחזור, הערכה, ניטור ובטיחות.
דרישות
- לפחות חמש שנות ניסיון בהנדסת בקאנד עם שפה בעלת טיפוס סטטי, כגון Go, Java, Kotlin או C#.
- ניסיון בסביבת ייצור בהספקת יכולות מבוססות LLM, כולל יצירה מועשרת באחזור, תגובות זורמות ושימוש בכלים.
- ניסיון מעשי בתשתיות הגשת LLM, כולל ניתוב בין ספקים מרובים, מעבר לגיבוי, הזרמת טוקנים ומעקב אחר עלויות ושימוש.
- ניסיון בבניית מערכות אחזור באמצעות חיפוש וקטורי, צינורות עיבוד להטמעות, הרכבת הקשר ותשובות הנתמכות בציטוטים.
- יכולת לנטר הזיות, כשלים באחזור, השבתות של ספקים וחריגות עלויות.
- ניסיון בהערכת איכות תשובות AI מבחינת רלוונטיות, בטיחות, איכות מקורות ותוצאות הניתנות לשחזור.
- מיומנויות חזקות בתכנון API.
- יכולת לקחת אחריות על שירות מתכנון הסכמה ועד לפריסה ולתמיכה בתורנות.
- מגורים בארצות הברית ואישור לעבוד בה.
- עדיפות משמעותית לניסיון ב-Go.
- ניסיון ב-Python.
- ניסיון בשערי LLM או בכלי הגשה כגון LiteLLM, vLLM או TGI.
- ניסיון במסדי נתונים וקטוריים כגון Qdrant או pgvector ובצינורות עיבוד להטמעות.
- ניסיון בכוונון עדין של מודלים פתוחים במשקולות באמצעות LoRA או בכוונון עדין מלא.
- ניסיון במודרציה של תוכן או בכלי בטיחות.
- היכרות עם Ruby on Rails או React/TypeScript.