Baseten מספקת תשתית להסָקת מודלים עבור חברות שמפעילות יישומי למידת מכונה ובינה מלאכותית. הפלטפורמה שלה נועדה להגיש מודלים במהירות ובקנה מידה רחב, ומשלבת הסקה בתפוקה גבוהה, פריסה מהירה, שינוי קנה מידה אוטומטי, הגשה מאובטחת של מודלים לארגונים ותמיכה באריזת מודלים בקוד פתוח. Baseten מסייעת לצוותי הנדסה ולמידת מכונה לנהל את הדרישות התפעוליות של תשתית המודלים, כדי שיוכלו להתמקד בפיתוח מודלים ייעודיים לתחום. החברה פועלת בתחומי הבינה המלאכותית, התוכנה כשירות והטכנולוגיה הארגונית, ומעסיקה צוות של 11–50 עובדים.
מנהל/ת הנדסת ביצועי הסקה על גבי GPU ב-Baseten
הובלת הנדסת ביצועי הסקה על גבי GPU ב-Baseten, חברת תשתיות בינה מלאכותית. הנחיית אופטימיזציה של זמן הריצה, יעילות מודלים וצמיחתו של צוות טכני מתמחה.
ארצות הברית
קליפורניה
ניו יורק240,000 $ – 270,000 $ / שנה
היברידימשרה מלאהרמת בינייםסניורשפה נדרשת: אנגליתמנהל הנדסהתיאור
- ניהול, חניכה ופיתוח של מהנדסי ביצועי הסקה באמצעות פגישות אישיות קבועות, משוב, תכנון קריירה והערכות ביצועים
- גיוס מהנדסי GPU והסקה תוך טיפוח תרבות צוות שיתופית
- אחריות על מפת הדרכים לביצועי זמן הריצה ועל ביצועה
- סקירת תכנונים טכניים, הכוונת עבודת פרופיילינג ואופטימיזציה וסיוע למהנדסים בהערכת שימוש בזמן ובזיכרון
- הפיכת קוונטיזציה, פענוח ספקולטיבי, שימוש חוזר במטמון KV, מילוי מקדים במקטעים ותזמון מותאם אישית למרכיבים מוכנים לייצור
- תרגום שיפורי ביצועים לשיפורים מדידים במספר הטוקנים לשעת GPU, בניצולת, בזמן השהיה ובעלות
- הבאת ארכיטקטורות מודלים חדשות לחומרה מתפתחת וכיול הביצועים שלהן
- שיתוף פעולה עם צוותי התשתיות, פלטפורמת ההסקה, הליבות, ממשקי ה-API של המודלים והצוותים מול הלקוחות כדי לתעדף עבודה, לתאם השקות ולספק שיפורים
- קביעת תקנים הנדסיים לאיכות, בנצ'מרקינג, מצוינות תפעולית ותגובה לתקריות
- קידום אופטימיזציית הסקה סוכנית, ליבות סוכניות, אימון מודלים לפענוח ספקולטיבי ו- Baseten Inference Stack
דרישות
- תואר ראשון, שני או דוקטורט במדעי המחשב, הנדסה, מתמטיקה או תחום קשור
- ניסיון ניהולי הכולל גיוס הנדסי, חניכה, משוב והערכות ביצועים
- ניסיון בהובלה או בתמיכה צמודה בצוותי אופטימיזציית GPU באימון, בהסקה או במערכות המלצה
- ידע טכני מעמיק בעומסי עבודה של GPU, בארכיטקטורה שלהם ובפשרות ביצועים
- היכרות עם ספריות למידת מכונה, כולל PyTorch, TensorRT או TensorRT-LLM
- יכולת מוכחת לקבוע מפתחות דרכים ולמסור פרויקטים טכניים מורכבים בעבודה עם צוות
- כישורי תקשורת כתובה ומילולית מצוינים ליישור קו בין בעלי עניין בצוותים שונים
- היכרות עם מנועי הסקה כגון vLLM, SGLang או TensorRT-LLM
- ניסיון ביישום שיטות אופטימיזציה של מודלי שפה גדולים, כגון קוונטיזציה, פענוח ספקולטיבי ואצווה רציפה
- ניסיון בפיתוח ליבות GPU או בעבודה איתן באמצעות CUDA, Triton או CUTLASS
- ניסיון בהרחבת צוות הנדסי במהלך צמיחה מהירה של סטארטאפ
- ניסיון מעשי קודם כמהנדס/ת ביצועים או מערכות לפני המעבר לניהול
הטבות
- חבילת תגמול תחרותית הכוללת הון עצמי משמעותי
- לעובדים בארצות הברית, כיסוי מלא של ביטוח רפואי, שיניים וראייה לעובדים ולתלויים
- חופשה בתשלום גמישה, כולל חופשת חורף כלל-חברתית
- חופשת הורות בתשלום
- תמיכה בפוריות ובבניית משפחה באמצעות Carrot
- לעובדים בארצות הברית, תוכנית 401(k) בתיווך החברה
- הזדמנויות לעבוד עם מגוון סטארטאפים בתחום למידת המכונה ולבנות קשרים בתעשייה