Hewlett Packard Enterprise
Hewlett Packard Enterprise
Hewlett Packard Enterprise מפתחת טכנולוגיות ארגוניות עבור ארגונים המפעילים תשתיות ענן היברידיות ותהליכים המבוססים על בינה מלאכותית. הפורטפוליו שלה כולל שרתי HPE ProLiant ומחשוב עתיר ביצועים HPE Cray, פתרונות אחסון HPE Alletra, פתרונות תקשורת HPE Aruba, פלטפורמות בינה מלאכותית ומפעלי AI מוכנים להפעלה, וכן פתרונות GreenLake כשירות. HPE מספקת גם יכולות אבטחה כגון Zero Trust ו-SASE, לצד שירותים מקצועיים, ייעוציים ושירותי תמיכה המסייעים לארגונים גדולים לחדש את התשתיות, לנהל סביבות מרכזי נתונים ולפרוס בינה מלאכותית בהיקף רחב.

מהנדס תוכנה בכיר להסיקת מודלים ב-HPE Hybrid

הובלת פיתוח סביבת הריצה להסיקת מודלי שפה גדולים של HPE AI Essentials עבור תשתיות בבעלות הלקוח. שיפור הגשה יעילה של מודלים על גבי מעבדים גרפיים, ביצוע מבוזר ותזמור Kubernetes.

תיאור

  • אחריות על רכיבי הליבה של פריסת הגשת מודלי השפה הגדולים, כולל שילוב מנוע, אצווה רציפה, ניהול ושימוש חוזר במטמון KV וביצוע מכומת.
  • עבודה עם צוותי הנדסת הסקה לצמצום הזמן עד לאסימון הראשון, זמן ההשהיה בין אסימונים, תפוקת המעבדים הגרפיים וזנב ההשהיה P95/P99.
  • פיתוח ותפעול של יכולות ביצוע מבוזרות כגון הפרדת prefill ו-decode, מקביליות טנזורית ומקביליות צינור, והעברת מטמון KV בין זיכרון המעבד הגרפי, זיכרון המארח ואחסון המחובר באמצעות RDMA.
  • הערכת סביבות ריצה מתפתחות, שיטות כימות, פענוח ספקולטיבי והגשת תערובות מומחים, ולאחר מכן המלצה על טכנולוגיות לאימוץ.
  • סיוע בבניית שכבת התזמור הכוללת קבלת מודלים, תזמון וחלוקה של מעבדים גרפיים, ניתוב בקשות מודע למטמון וקנה מידה אוטומטי.
  • פתרון בעיות לקוחות מקצה לקצה, קביעת גורמי שורש וחיזוק המערכות והתהליכים הקשורים.
  • סקירת קוד ותכנונים, חניכת עמיתים והובלת דוגמה לשיטות הנדסיות מצוינות.

דרישות

  • לפחות 8 שנות ניסיון בהנדסת תוכנה.
  • שנה עד שנתיים או יותר של ניסיון ישיר בסביבות ריצה להסיקת מודלי שפה גדולים או בהגשת מודלים בסביבת ייצור.
  • תואר במדעי המחשב או בתחום קשור.
  • היכרות עם מנועי הסקת מודלי שפה גדולים כגון vLLM, SGLang, TensorRT-LLM, TGI או NVIDIA NIM, כולל ניסיון בשינוי רכיבים פנימיים של המנוע.
  • ידע מעמיק באצווה רציפה, paged attention, שימוש חוזר במטמון KV ובמטמון תחיליות, prefill מחולק למקטעים, כימות ופענוח ספקולטיבי.
  • ידע מעשי במקביליות טנזורית ובמקביליות צינור, פעולות קולקטיביות של NCCL, היררכיית זיכרון המעבד הגרפי והתנהגות חיבורים בין רכיבים.
  • שליטה מתקדמת בארכיטקטורת פלטפורמת Kubernetes, כולל אופרטורים, משאבים מותאמים אישית, בקרים ותזמון.
  • מיומנויות תכנות חזקות ב-Go וב-Python.
  • יכולת לקרוא, לנפות באגים ולנתח ביצועים של C++ ו-CUDA באמצעות כלים כגון Nsight.
  • היכרות עם ניפוי באגים וניתוח ביצועים של עומסי עבודה רב-שכבתיים, כולל יישומי RAG וסוכנים.
  • מיומנויות מצוינות בניתוח, ניפוי באגים ופתרון בעיות.
  • יתרון: תרומות ל-vLLM, SGLang, TensorRT-LLM, llm-d, LMCache או KServe.
  • יתרון: ניסיון בהגשת prefill ו-decode מופרדים או בהעברה ובשימוש חוזר במטמון KV בקנה מידה גדול.
  • יתרון: ניסיון ב-RDMA, GPUDirect Storage, InfiniBand או RoCE.
  • יתרון: ניסיון ב-MIG, הקצאת מעבדים גרפיים חלקית ובידוד מעבדים גרפיים בסביבה מרובת משתמשים.
  • יתרון: ניסיון באספקת תוכנה לסביבות ארגוניות מקומיות, מבודדות או מפוקחות.

הטבות

  • הטבות מקיפות התומכות בבריאות הפיזית, בביטחון הפיננסי וברווחה הרגשית.
  • תוכניות התומכות בצמיחה אישית ומקצועית.
  • גמישות בהסדרי העבודה ובצרכים האישיים.
  • תרבות מקום עבודה מכילה.
  • התאמות סבירות במהלך תהליך הגשת המועמדות או הראיון למועמדים מוסמכים עם מוגבלויות.

משרות קשורות

Aveanna Healthcare

מומחה/ית גביית ביטוח רפואי – עבודה מרחוק באריזונה

Aveanna Healthcare

ניהול חשבונות משלמים, דחיות תביעות וגבייה עבור Aveanna Healthcare בתפקיד מרחוק באריזונה. תמיכה בחיוב מדויק, בתהליכי מחזור הכנסות תקינים ובטיפול בילדים.

פתח
U

מנהל/ת אספקת משאבים ואוספים פיזיים

uQ
1 – 10 עובדים
B2Bשיווק

הובלת שירותי ההשאלה, אספקת המסמכים והאוספים הפיזיים של ספריית אוניברסיטת קווינסלנד, תוך פיקוח על ארבעה צוותים מקצועיים. קידום שיפורי שירות ברחבי האוניברסיטה.

פתח
accessiBe

נציג/ת גבייה – Canon Financial Services (היברידי, ניו ג׳רזי)

accessiBe

ניהול חשבונות בפיגור ומחלוקות לקוחות עבור Canon Financial Services. טיפול בהתאמות חשבון, התאמות יתרה, החזרים ופתרון פיגורים.

פתח
Neon

אנליסט/ית בכיר/ה לאנליטיקה ולתכנון, גביית חובות מלקוחות עסקיים

Neon

ב-Neon, בונים לוחות מחוונים ומעריכים את התשואה של יוזמות גבייה מלקוחות עסקיים. מנתחים סיכוני אשראי עסקי ומסייעים בתכנון יעדים ותוכניות פעולה.

פתח
540

מהנדס נתונים, Python ו-AWS

540

בנו צינורות נתונים ב-Python וב-AWS עבור יוזמת 540 למודרניזציה של מערכות הכספים של צבא ארצות הברית. סייעו בשיפור טרנספורמציית נתונים מאובטחת, ניתנת להרחבה ומנוהלת היטב.

פתח
Device Insight

מהנדס/ת נתונים בכיר/ה – Databricks, מינכן במתכונת היברידית

Device Insight

בניית מוצרי נתונים מנוהלים ב-Databricks עבור Device Insight, חברת תוכנה לתחום ה-IoT התעשייתי והמפעלים החכמים. פיתוח צינורות נתונים אמינים, אוטומציה לפריסות וניתוח נתונים בשירות עצמי.

פתח
Capital One

מהנדס נתונים בכיר, Python ו-AWS

Capital One

בנו ב-Capital One פלטפורמות נתונים וצינורות עיבוד מאובטחים וניתנים להרחבה באמצעות Python ו-AWS. תכננו פתרונות ענן וארכיטקטורות נתונים המשרתים מיליוני לקוחות.

פתח