מהנדס/ת נתונים בכיר/ה, מעבר ל-Databricks
Sigma Software Groupהעברת ניתוחי נתונים של קמעונאות ארגונית מ-BigQuery ל-Databricks Lakehouse, תוך בניית צינורות PySpark מדרגיים, ארכיטקטורת מדליון ופלטפורמות נתונים ענניות עם ממשל.
פתח
Sedona Digital היא חברת ייעוץ טכנולוגי המפעילה גישה מבוססת תהליכים ומשרתת ארגונים במגוון מגזרים, בהם שירותי בריאות ולוגיסטיקה. פעילותה כוללת אסטרטגיית טכנולוגיה, ארכיטקטורת נתונים והנדסת נתונים, בינה מלאכותית ואנליטיקה חזויה, פיתוח מוצרי תוכנה, מודרניזציה של יישומים, הגירה לענן, שירותים מנוהלים של Azure, וכן DevOps ו-CI/CD. החברה מספקת גם תמיכה באבטחת ענן, בהפעלת מרכז תפעול אבטחה מנוהל (SOC) ובציות מתמשך, ומסייעת לארגונים לבנות, להפעיל ולהגן על סביבות טכנולוגיות מבוססות נתונים וענן-מקוריות.
מהנדס/ת נתונים בכיר/ה, עבודה מרחוק ברומניה | Sedona Digital
בנו ותחזקו פלטפורמות נתונים מבוססות PySpark, SQL ו-Databricks עבור לקוחות Sedona Digital בתחום הביטוח. עבדו על צינורות נתונים, התאמות, איכות נתונים ופתרונות נתונים בענן.
תיאור
- העריכו ובנו מחדש צינורות קליטת נתונים תפעוליים ונתונים ממערכות מקור.
- תכננו מיפויי נתונים, שושלת נתונים, תלויות ותוכניות מבוקרות למעבר ולחיתוך.
- צרו ותחזקו תהליכי התאמת נתונים מפורטים.
- שפרו עיבוד נתונים ב-PySpark ויכולות היררכיה וצבירה.
- הוסיפו בדיקות, ניהול גרסאות, מטא-נתונים, יכולת תצפית ובקרות פריסה.
- עבדו עם מומחי עסקים וטכנולוגיה לשיפור כיסוי הנתונים.
- העריכו אפשרויות לצינורות נתונים ב-GCP וסייעו במימושן.
- בדקו אפשרות לקבל מיפויים ונתוני ייחוס ישירות ממערכות כגון Microsoft Dynamics 365.
- תמכו בשינויים בהיררכיות דיווח ובלוגיקת סינון, לרבות הערכת השפעה, בדיקות והתאמות.
- צרו ותחזקו בדיקות אוטומטיות לאיכות נתונים, ניטור ובקרות תפעוליות.
- סייעו לצוותים לאמץ יכולות דיווח ונתונים מרכזיות.
- הכינו תיעוד טכני, רישומי החלטות, ראיות להתאמות, הסברים לשונות וחומרי העברת אחריות.
- בצעו עבודה דרך רשימת משימות מתועדפת ומחזורים קצרים ואיטרטיביים עם מהנדסים ובעלי עניין.
דרישות
- לפחות חמש שנות ניסיון מקצועי בהנדסת נתונים או בתפקיד נתונים קרוב, כולל ניסיון מעשי נרחב בבנייה ובתמיכה בפתרונות נתונים בסביבת ייצור.
- ניסיון מעשי חזק ב-PySpark, ב-SQL וב-Databricks, כולל פיתוח ותמיכה בצינורות נתונים ברמת ייצור.
- ניסיון מעשי בטכנולוגיות ובצינורות נתונים של GCP.
- ניסיון בבדיקת צינורות נתונים ובמיטובם ובתמיכה בתפעולם.
- ניסיון נרחב במידול נתונים ממדיים, נתוני אב/ייחוס או נתונים היררכיים.
- ניסיון במימוש התאמת ישויות מורכבת, מיפויי נתונים ולוגיקת צבירה עם יכולת מעקב מתאימה.
- ניסיון מעשי במימוש בדיקות אוטומטיות לאיכות נתונים ובתהליכי התאמה.
- ניסיון ביכולת תצפית, היסטוריית ביקורת, בקרת גרסאות ו-CI/CD בפתרונות הנדסת נתונים.
- ניסיון בהערכת נתוני מערכות מקור ובתיעוד חוזי נתונים, מיפויים, שושלת נתונים ותלויות.
- ניסיון בניהול מעברים מבוקרים של צינורות נתונים או פלטפורמות.
- יכולת לחקור בעיות נתונים ולהסביר בבירור הבדלים בערכים, במספרי רשומות, במיפויים ובתוצאות היררכיות.
- יכולת לעבוד ישירות עם צוותי פלטפורמה, אנליסטים ומומחי עסקים, ולהפוך צרכים עמומים בתחום הדיווח והמיפוי לפתרונות הנדסיים בדוקים.
- כישורי תקשורת חזקים ויכולת להכין תיעוד טכני תמציתי, רישומי החלטות, הסברים לשונות וחומרי העברת אחריות.
- עצמאות ונוחות בעבודה בסביבת מסירה שיתופית ואיטרטיבית.
- יתרון: ניסיון בביטוח, בשוק הביטוח הלונדוני, בביטוח משנה, בתיווך, בהפצה או בסביבות נתונים ברמת פוליסה.
- יתרון: ניסיון באינטגרציה של Microsoft Dynamics 365 או של מערכות מקור תפעוליות דומות.
- יתרון: ניסיון ב-Power BI, כולל מודלים סמנטיים ותלויות דיווח.
- יתרון: ניסיון בממדים המשתנים באיטיות (SCDs) ובניהול היררכיות היסטוריות.
- יתרון: ניסיון בתמיכה בפתרונות מורכבים של נתוני אב/ייחוס, התאמת ישויות והיררכיות.
- יתרון: ניסיון בחקירת אי-התאמות בנתונים היסטוריים ובדיווחים.
- יתרון: ניסיון בתמיכה בהעברות נתונים מבוקרות, במעברים בין מערכות מקור או בשינויי פלטפורמה.
- יתרון: ניסיון בצוותי Agile מבוזרים ובשיתוף פעולה עם בעלי עניין עסקיים וטכניים בבריטניה.
משרות קשורות
ארכיטקט/ית נתונים בכיר/ה (דובר/ת צרפתית)
Intetics
בלגיה
צרפת
לוקסמבורג
פולין
פורטוגל
רומניהמרחוקמשרה מלאהסניורשפה נדרשת: אנגליתשפה נדרשת: צרפתיתמהנדס נתוניםעיצוב ארכיטקטורת נתונים ניתנת להרחבה ופלטפורמות SQL Server עבור Intetics. התפקיד כולל ממשל נתונים, שילובי REST ובדיקות מסירה.
פתח
מהנדס נתונים ללמידת מכונה, עבודה מרחוק מרומניה
Intetics
בניית תשתיות נתונים בזמן אמת, נתונים גרפיים וסדרות עתיות לתמיכה בביצועי ספורטאים. תמיכה בהערכת למידת מכונה ובמערכות בינה מלאכותית עבור לקוח של Intetics בארצות הברית.
פתח
מהנדס SRE ותצפיתיות לפלטפורמת נתונים
Emerging Travel Group
בניית יכולות תצפיתיות ב-Trino, Kubernetes, מסדי נתונים, Hadoop ו-Apache Ozone. שיפור מדדי DORA, לוחות מחוונים לשירותים והתראות יזומות על תקריות.
פתח
מהנדס תשתיות ביג דאטה מרחוק
Emerging Travel Group
הובלת תשתיות הביג דאטה של פלטפורמה בינלאומית, לרבות HDFS, אחסון אובייקטים ו-Iceberg. עיצוב ארכיטקטורת הפלטפורמה, מכסות, קטלוגים, ניטור ואמינות תפעולית.
פתח