Baseten מספקת תשתית להסָקת מודלים עבור חברות שמפעילות יישומי למידת מכונה ובינה מלאכותית. הפלטפורמה שלה נועדה להגיש מודלים במהירות ובקנה מידה רחב, ומשלבת הסקה בתפוקה גבוהה, פריסה מהירה, שינוי קנה מידה אוטומטי, הגשה מאובטחת של מודלים לארגונים ותמיכה באריזת מודלים בקוד פתוח. Baseten מסייעת לצוותי הנדסה ולמידת מכונה לנהל את הדרישות התפעוליות של תשתית המודלים, כדי שיוכלו להתמקד בפיתוח מודלים ייעודיים לתחום. החברה פועלת בתחומי הבינה המלאכותית, התוכנה כשירות והטכנולוגיה הארגונית, ומעסיקה צוות של 11–50 עובדים.
מהנדס תוכנה לביצועי הסקה ב-Baseten (עבודה היברידית)
Baseten מגייסת מהנדס ביצועי הסקה לשיפור זמני הריצה של מודלי שפה גדולים, ליבות GPU ומערכות הגשת מודלים. התפקיד מתמקד בהאצת הסקה בסביבת ייצור, בשיפור ניצול החומרה ובהתייעלות בעלויות.
ארצות הברית
קליפורניה
ניו יורק
וושינגטון180,000 $ – 360,000 $ / שנה
היברידימשרה מלאהרמת בינייםסניורשפה נדרשת: אנגליתמהנדס Full Stackמהנדס תוכנהתיאור
- הפיכת שיטות הסקה מתקדמות למוכנות לייצור, כגון קוונטיזציה, פענוח ספקולטיבי, שימוש חוזר במטמון KV, prefill במקטעים, LoRA, יצירה מונחית ותזמון או ניתוב מותאם אישית.
- ניתוח צינור ההסקה המלא ואופטימיזציה של תקורת ליבות, מיקום זיכרון, תזמון בקשות, הפרדה בין prefill ל-decode וניתוב מודע למטמון.
- הגדלת מספר הטוקנים לשעת GPU ואת שיעור הניצול, תוך איזון בין השהיה, תפוקה ועלות.
- פריסה ואופטימיזציה של ארכיטקטורות מודלים מתפתחות על גבי פלטפורמות חומרה חדשות.
- יצירת מדדי ביצועים המכסים סוגי מודלים, גדלי אצווה, אורכי רצפים ותצורות חומרה.
- תרומה לשיפורים בפרויקטי הסקה בקוד פתוח, כולל vLLM, SGLang ו-TensorRT-LLM.
- עבודה עם צוותי מודלים, תשתיות וצוותים מול לקוחות כדי לספק שיפורי ביצועים מדידים.
דרישות
- תואר ראשון, שני או שלישי במדעי המחשב, הנדסה, מתמטיקה או תחום קשור.
- ניסיון מקצועי בלפחות שפת תכנות כללית אחת, כולל Python או C++.
- ידע מעשי בשיטות אופטימיזציה למודלי שפה גדולים, כגון קוונטיזציה, פענוח ספקולטיבי ואצווה רציפה.
- שליטה גבוהה בספריות למידת מכונה, במיוחד PyTorch, TensorRT או TensorRT-LLM.
- עניין מוכח במודלי שפה גדולים וניסיון מעשי בעבודה איתם.
- הבנה מעמיקה של ארכיטקטורת GPU.
הטבות
- חבילת שכר תחרותית הכוללת השתתפות משמעותית בהון החברה.
- לעובדים בארצות הברית, כיסוי מלא של ביטוח רפואי, ביטוח שיניים וביטוח ראייה לעובדים ולתלויים בהם.
- חופשה בתשלום בגמישות, בנוסף לחופשת חורף כללית של החברה.
- חופשת לידה והורות בתשלום.
- תמיכה בפוריות ובהקמת משפחה באמצעות קצבת Carrot.
- לעובדים בארצות הברית, תוכנית 401(k) המנוהלת בסיוע החברה.
- הזדמנויות לעבוד עם מגוון חברות הזנק בתחום למידת המכונה, תוך תמיכה בלמידה משמעותית ובנטוורקינג מקצועי.