Aleph Alpha היא חברת מחקר ויישומים בתחום הבינה המלאכותית, המפתחת מודלים רחבי היקף לשפה, לנתוני תמונה ולהסקה אסטרטגית. החברה ממוקמת בהיידלברג, גרמניה, ומתמקדת בהפיכת מחקר מתקדם בבינה מלאכותית למערכות תפעוליות, תוך תמיכה בריבונות הדיגיטלית של אירופה. פעילותה משרתת מקרי שימוש עסקיים וארגוניים במגזר הטכנולוגיה העסקית.
חוקר/ת AI בכיר/ה, אימון מקדים של מודלי יסוד — Aleph Alpha, היידלברג
הובלת עבודת ארכיטקטורה ואימון מקדים בקנה מידה גדול עבור מודלי היסוד האירופיים של Aleph Alpha, ועיצוב שיטות אימון על פני אלפי מעבדי GPU. בניית מתכוני אימון ושיפורם באמצעות PyTorch עם הצוות ההיברידי בהיידלברג.
תיאור
- פיתוח ארכיטקטורות ושיטות אימון לדור הבא של מודלי היסוד של Aleph Alpha.
- הובלת רכיבים מרכזיים במתכוני האימון, לרבות אופטימייזרים, לוחות זמנים ואתחול.
- יצירת שיפורים בארכיטקטורת PyTorch שמחזקים התכנסות, יציבות ויעילות אימון.
- קביעת חוקי קנה מידה להיפרפרמטרים ושיטות להרחבת ריצות אימון.
- הרצת ניסויי קירוב קטנים כדי לחזות התנהגות באלפי מעבדי GPU ולהפחית סיכוני אימון.
- אבחון בעיות התכנסות, לרבות קפיצות בהפסד והתבדרות.
- פתרון תקלות באימון מבוזר, כגון צווארי בקבוק בתקשורת, תנאי מרוץ ושגיאות סנכרון.
- עבודה עם צוותי ביצועי מחשוב, נתונים, הערכה ואימון המשך על תכנון משותף של מערכות ומודלים.
- הפיכת ניתוח מתמטי וראיות ניסיוניות להחלטות אימון מבוססות.
- אספקת קוד באיכות ייצור שמשפר את איכות המודלים, את אמינות הריצות ואת היעילות.
דרישות
- שליטה ב-Python והיכרות מעמיקה עם תהליכי אימון באמצעות PyTorch.
- רקורד מוכח במחקר למידת מכונה ובהנדסת תוכנה, כפי שמתבטא במודלים שהושקו, בעבודת קוד פתוח בעלת השפעה או במחקרים שפורסמו.
- בסיס מתמטי חזק ויכולת לחשיבה פורמלית על אופטימיזציה, התנהגות בקנה מידה ודינמיקת אימון.
- ידע מעמיק בדינמיקת אימון של טרנספורמרים, באופטימיזציה ובריצות אימון מבוזרות בקנה מידה גדול.
- יכולת לתכנן ניסויים קפדניים ולהשתמש בממצאיהם כדי להנחות החלטות אימון אמינות.
- ניסיון מעשי באימון מקדים של מודלים גדולים, כגון מודלים עם 7 מיליארד פרמטרים ומעלה, על תשתית משמעותית, כגון אשכולות של 100 מעבדי GPU ומעלה.
- הקפדה על נוהלי הנדסת תוכנה תקינים, כולל קוד בר־תחזוקה שנבדק היטב וניסויים שניתן לשחזר.
- יכולת לממש ארכיטקטורות מורכבות ביעילות ובאמינות, ולנפות באגים בקוד מודלים, בהתנהגות האימון ובמערכות מבוזרות.
- תקשורת ברורה ושיתוף פעולה יעיל בין צוותים.
- זכאות לעבוד בגרמניה וזמינות לשיתוף פעולה סדיר באתר בהיידלברג.
- יתרון: ניסיון באימון מודלי שפה גדולים או מודלים רב־מודאליים באשכולות GPU גדולים עם מסגרות מבוזרות כגון Megatron-LM, DeepSpeed או torchtitan.
- יתרון: היכרות עם חוקי קנה מידה, העברת היפרפרמטרים או חיזוי התנהגות של אימון בקנה מידה גדול מתוך ריצות קירוב.
- יתרון: ניסיון באפיון ביצועים של משימות מבוזרות ובאבחון חריגות באימון.
- יתרון: היכרות עם שיטות אימון דלילות כגון Mixture-of-Experts.
- יתרון: פרסומים מובילים, תרומות משמעותיות לקוד פתוח או עבודה טכנית משמעותית שהגיעה לייצור.
הטבות
- 30 ימי חופשה שנתית בתשלום.
- גישה לשירותי כושר ובריאות דרך Wellhub.
- תמיכה בבריאות הנפש באמצעות nilo.health.
- תוכנית פנסיה של החברה בסבסוד משמעותי.
- כרטיס נסיעה ארצי בגרמניה בסבסוד החברה.
- תקציב לציוד טכני נוסף.
- שעות עבודה גמישות.
- מתכונת עבודה היברידית.
- ליסינג לאופניים דרך JobRad®.