Walmart היא חברת קמעונאות ומסחר אלקטרוני גלובלית, המשרתת צרכנים באמצעות היפרמרקטים, חנויות כלבו מוזלות, חנויות מכולת ושוק מקוון. מגוון המוצרים הרחב שלה נתמך ברשת גדולה של חנויות פיזיות, בפעילות ישירה מול צרכנים ובמערכות הלוגיסטיקה ושרשרת האספקה הנדרשות להעברת מוצרים ברחבי החברה.
מהנדס נתונים בכיר - בנגלור, הודו (עבודה מהמשרד)
בנה צינורות נתונים אצוותיים וזורמים הניתנים להרחבה ומוצרי נתונים של בינה מלאכותית יוצרת עבור פעילות ביקורת התשלומים לאחר ביצוע ב-Walmart. שפר את דיוק התשלומים, תהליכי ההתאמה וההשבה ואת ניתוחי הכספים.
תיאור
- בנה ותחזק צינורות נתונים אצוותיים, זורמים וכמעט בזמן אמת, הניתנים להרחבה, עבור ביקורת תשלומים לאחר ביצוע, תקינות תשלומים, התאמת חשבונות ספקים, פעילות השבה וניתוחי כספים.
- פתח מערכי נתונים מאוצרים, מודלים סמנטיים, טבלאות מוכנות לפיצ'רים ומוצרי נתונים לשימוש חוזר ממערכות חשבוניות, הזמנות רכש, קבלה, ספקים, תביעות, תמחור ותשלומים.
- צור תהליכי ELT, ETL ותהליכי עבודה זורמים באמצעות SQL, Python, PySpark, Apache Flink, dbt, כלי תזמור, פלטפורמות הזרמת אירועים וטכנולוגיות נתונים בענן.
- פתח צינורות נתונים זורמים ולכידת שינויי נתונים עם עיבוד לפי זמן אירוע, טיפול בנתונים מאוחרים, יכולת הפעלה מחדש, אידמפוטנטיות, השלמות נתונים והתאוששות מתקלות.
- תכנן והפעל מוצרי נתונים באגם נתונים באמצעות Apache Hudi, Apache Iceberg או Delta Lake.
- הטמע בדיקות איכות נתונים, בקרות התאמה, אימות סכמות, שיטות למעקב אחר מקור הנתונים, ניטור, התראות ויכולת תצפית.
- עבוד עם צוותי כספים, ביקורת, תפעול, מוצר, מדעי הנתונים והנדסה כדי לספק פתרונות נתונים מוכנים לייצור.
- אפשר זיהוי חריגות, תעדוף חריגים, כללי ביקורת, דירוג באמצעות למידת מכונה ותהליכי עבודה של בינה מלאכותית יוצרת.
- צור אוטומציה ושירותי נתונים המסייעים לצוותי ביקורת לסכם ראיות, למיין חריגים, לספק הקשר לחקירה ולהפחית בדיקה ידנית.
- הטמע תבניות הנדסת נתונים לבינה מלאכותית יוצרת, כגון מאגרי מסמכים מוכנים לאחזור, צינורות הטמעה, שילובים עם מסדי נתונים וקטוריים, העשרת מטא-נתונים ואחזור ידע מבוקר.
- שפר עומסי עבודה אצוותיים וזורמים מבחינת אמינות, עדכניות, שיהוי, ניהול מצב, יעילות חישוב ושימושיות במערכות downstream.
- חקור פערי נתונים, כשלים בצינורות, אי-התאמות בתהליכי התאמה ובעיות במערכות מקור באמצעות ניתוח שורש הבעיה.
דרישות
- תואר ראשון במדעי המחשב, הנדסה, טכנולוגיית מידע, הנדסת נתונים, אנליטיקה, מתמטיקה, סטטיסטיקה או תחום קשור, בתוספת 6 שנות ניסיון רלוונטי לפחות; לחלופין, תואר שני עם 4 שנות ניסיון לפחות או דוקטורט עם 3 שנות ניסיון רלוונטי לפחות.
- יכולת מעשית מוכחת ב-SQL, Python, PySpark, Apache Flink או מסגרת דומה לעיבוד זרמים, ובעיבוד נתונים מבוזר בקנה מידה גדול.
- ניסיון ב-dbt או במסגרת טרנספורמציה דומה, ב-Airflow או בכלי תזמור דומים, ב-Kafka או בפלטפורמת הזרמת אירועים מקבילה, ובטכנולוגיות נתונים בענן או בארגון כגון BigQuery, Hive או Spark.
- ניסיון מוכח בתכנון, פריסה ותמיכה בצינורות נתונים אצוותיים וזורמים, בתהליכי ELT/ETL, במודלי נתונים ובמוצרי נתונים לשימוש חוזר בסביבות ייצור.
- ידע מעמיק במידול נתונים, חלוקה למחיצות, כוונון ביצועים, עיבוד אינקרמנטלי, CDC, התפתחות סכמות, חוזי נתונים, ניהול מטא-נתונים, מעקב אחר מקור הנתונים ופורמטים של אגמי נתונים, כולל Apache Hudi, Apache Iceberg או Delta Lake.
- ניסיון באספקת בדיקות איכות נתונים, לוגיקת התאמה, מסגרות אימות, יכולת תצפית, ניטור, התראות ופתרון תקלות בצינורות ייצור.
- ניסיון בפיתוח פתרונות זרימה הכוללים עיבוד לפי זמן אירוע, טרנספורמציות שומרות מצב, נקודות ביקורת, סימוני מים, עיבוד בדיוק פעם אחת או למעשה פעם אחת ואסטרטגיות להפעלה מחדש או להשלמת נתונים.
- ניסיון בטיפול במערכי נתונים גדולים מובנים ומובנים למחצה ממערכות מקור מרובות, כולל נתונים תפעוליים עם הגדרות עסקיות לא עקביות.
- כישורי שיתוף פעולה חזקים ויכולת לעבוד בין צוותי כספים, ביקורת, תפעול, מוצר, מדעי הנתונים והנדסה.
- חלופות ההסמכה המינימליות כוללות תואר ראשון במדעי המחשב עם 3 שנות ניסיון בהנדסת תוכנה או ניסיון קשור; 5 שנות ניסיון בהנדסת תוכנה או ניסיון קשור; או תואר שני במדעי המחשב עם שנת ניסיון אחת בהנדסת תוכנה או ניסיון קשור.
- לפחות שנתיים ניסיון בהנדסת נתונים, הנדסת מסדי נתונים, בינה עסקית או אנליטיקה עסקית.
הטבות
- מענקי תמרוץ המבוססים על ביצועים.
- חופשת לידה וחופשת הורות.
- חופשה בתשלום.
- הטבות בריאות.