מהנדס/ת נתונים בכיר/ה, מעבר ל-Databricks
Sigma Software Groupהעברת ניתוחי נתונים של קמעונאות ארגונית מ-BigQuery ל-Databricks Lakehouse, תוך בניית צינורות PySpark מדרגיים, ארכיטקטורת מדליון ופלטפורמות נתונים ענניות עם ממשל.
פתח
Intetics היא חברת פיתוח תוכנה בהתאמה אישית וייעוץ, המסייעת לארגונים לבנות יכולות טכנולוגיות באמצעות שירותים בתחום הבינה המלאכותית, למידת המכונה, הנדסת התוכנה ועיבוד הנתונים. מודל Remote In-Sourcing® שלה תומך בהקמת צוותי מומחים ייעודיים, בעוד ש-TETRA™ מספקת כלים להערכת איכות התוכנה. החברה מיישמת טכנולוגיות מתקדמות ונהלי נתונים באיכות גבוהה במגוון מגזרים, ובהם שירותי בריאות, פיננסים, לוגיסטיקה ותעשיות נוספות.
מהנדס נתונים ללמידת מכונה, עבודה מרחוק מרומניה
בניית תשתיות נתונים בזמן אמת, נתונים גרפיים וסדרות עתיות לתמיכה בביצועי ספורטאים. תמיכה בהערכת למידת מכונה ובמערכות בינה מלאכותית עבור לקוח של Intetics בארצות הברית.
תיאור
- בניית תשתיות נתונים בסביבת ייצור להיקפים גדולים של נתוני ביצועי ספורטאים ונתוני חיישנים.
- פיתוח ותפעול של מערכות לקליטת נתונים זורמים בזמן אמת וכמעט בזמן אמת.
- תכנון ארכיטקטורות אחסון ונתונים למערכי נתוני סדרות עתיות גדולים ולרשומות ארוכות טווח של ספורטאים.
- מתן גישה מהירה למאפייני ייצור ולמדדים נגזרים עבור מערכות למידת מכונה וסוכני בינה מלאכותית.
- יצירת מודלים וסכמות גרפיים המקשרים בין ספורטאים לבין עומסי אימון, פציעות, ביצועים ותוצאות.
- פיתוח מערכות להערכת נתונים ולמידת מכונה, לבדיקת אמינות מודלים, כיול וביצועים בעולם האמיתי.
- שמירה על הפרדת נתונים ברמת הדייר בין מועדונים ולקוחות.
- הקמת מנגנונים למקור הנתונים, שושלת הנתונים, ביקורתיות וניטור לאורך הפלטפורמה.
- עבודה משותפת עם מהנדסי למידת מכונה ובינה מלאכותית לתמיכה באימון מודלים, בהסקה ובהערכה באמצעות נתונים אמינים.
- תרגום דרישות מורכבות למערכות ייצור עמידות יחד עם מדעני ספורט ומומחי תחום.
- קבלת החלטות מעשיות בנוגע לטכנולוגיה ולארכיטקטורה עם התפתחות הפלטפורמה.
- שיתוף פעולה עם הלקוח של Intetics בארצות הברית.
דרישות
- לפחות חמש שנות ניסיון מקצועי במשרה מלאה בהנדסת תוכנה או נתונים; התמחות, השמה באוניברסיטה, לימודים ופרויקטים אקדמיים אינם נחשבים.
- ניסיון מוכח בתכנון, בבנייה ובהפעלה של תשתיות נתונים בסביבת ייצור ובהיקף נרחב.
- ניסיון משמעותי בנתוני סדרות עתיות או בבסיסי נתונים כגון InfluxDB, TimescaleDB, Prometheus, ClickHouse או חלופות מקבילות.
- ניסיון רב בקליטת נתונים בזמן אמת או בהזרמת נתונים באמצעות Kafka, Kinesis, Flink, Spark Streaming, Pulsar או חלופות מקבילות.
- ניסיון בתכנון מודלים גרפיים לנתונים או סכמות של מסדי נתונים, מעבר לשאילתות או לשימוש במסד נתונים גרפי קיים.
- ניסיון בתכנון או בהפעלה של מערכות מרובות דיירים עם הפרדת נתונים ברמת הדייר.
- שליטה טובה ב-Python וב-SQL.
- ניסיון מקצועי ב-Go הוא יתרון משמעותי.
- ניסיון במערכות ייצור שבהן אמינות, יכולת הרחבה, ניטור ודיוק נתונים הם חיוניים.
- יכולת לקחת אחריות על בעיות טכניות עמומות ולעצב אותן לארכיטקטורות ייצור מעשיות.
- ניסיון בעבודה ישירה עם מדעני נתונים, מהנדסי למידת מכונה או מומחים טכניים אחרים בתחום.
- ניסיון בבניית תשתיות להערכה הסתברותית, לכיול מודלים או לניטור מודלים.
- ניסיון בהסקה סיבתית, במידול תרחישים נגדיים או בסימולציה.
- ניסיון בחיישנים לבישים, בנתוני IoT, בביומכניקה, בטכנולוגיית ספורט או בנתוני טלמטריה אחרים בתדירות גבוהה.
- ניסיון בבניית גרפי ידע או אונטולוגיות ייעודיות לתחום.
- ניסיון במסגרות להערכת LLM או בינה מלאכותית והיכרות עם מגבלותיהן.
- ניסיון בשירותי AWS כגון ECS, EC2, Lambda, SNS, SQS או כלים קשורים.
- ניסיון ב-GraphQL, ב-REST, ב-gRPC, ב-Postgres, ב-MongoDB או בטכנולוגיות דומות.
- שליטה באנגלית ברמה B2 ומעלה.
- נדרשת מגורים באיחוד האירופי.
משרות קשורות
מהנדס נתונים בכיר
Sigma Software Groupבנו פלטפורמות נתונים בענן וצינורות עיבוד כמעט בזמן אמת, תוך מודרניזציה של עומסי העבודה של Spark ו-PySpark. הובילו אימוץ של כלי בינה מלאכותית ותהליכי עבודה מבוססי סוכנים, ותרמו למחקר ולפיתוח טכנולוגי.
פתח
ארכיטקט/ית נתונים ב-Databricks (עבודה מרחוק, ספרד)
Devoteamתכננו פלטפורמות Lakehouse מאובטחות ומוכנות ל-AI עבור לקוחות Devoteam באמצעות Databricks. חדשו מערכות נתונים ותיקות בסביבות ענן ובסביבות מרובות עננים.
פתח
מהנדס נתונים בכיר, עבודה מרחוק מבולגריה
Valtechבנו ב-Valtech פלטפורמות נתונים ותהליכי עיבוד בענן לתמיכה באנליטיקה, בבינה מלאכותית ובמוצרי נתונים. עבדו עם AWS, Databricks וסביבות ענן נוספות, כולל שימושים בבינה מלאכותית יוצרת.
פתח
ארכיטקט/ית נתונים בכיר/ה: Databricks ו-Lakehouse
Sowelo Consulting sp. z o.o. sp. k.הובלת פרויקטים ללקוחות לבניית פלטפורמות Lakehouse מבוססות Databricks בחברת ייעוץ לבינה מלאכותית ולנתונים. עיצוב הנדסת נתונים בענן, הגירות, אנליטיקה ופתרונות בינה מלאכותית.
פתח
מהנדס נתונים בכיר, Databricks — עבודה מרחוק בפולין
Sowelo Consulting sp. z o.o. sp. k.בנו צינורות נתונים מדרגיים ב-Databricks בחברת ייעוץ המספקת פתרונות AI ונתונים. תמכו ביוזמות של אנליטיקה ארגונית, MLOps ובינה מלאכותית יוצרת.
פתח