Visa היא חברת טכנולוגיות תשלומים גלובלית המשרתת צרכנים, בתי עסק, מוסדות פיננסיים וממשלות באמצעות רשת התשלומים האלקטרוניים שלה. הפלטפורמה שלה תומכת בעסקאות אשראי, חיוב ותשלום מראש, לצד עיבוד תשלומים, מניעת הונאות, אבטחה, אנליטיקה ושירותים נוספים לצרכנים ולעסקים. Visa מפתחת גם פתרונות תשלום מתקדמים, ובהם יוזמות למסחר המופעלות באמצעות בינה מלאכותית, ותומכת בהכללה פיננסית באמצעות Visa Foundation.
מהנדס נתונים בכיר, אגם נתונים (עבודה מרחוק מברזיל)
בנה ותחזק צינורות Spark, Databricks ו-Airflow עבור אגם הנתונים הארגוני של Visa. שפר את איכות הנתונים, את תזמור התהליכים ואת הגישה העצמאית והאמינה לנתונים.
תיאור
- פתח, בדוק ותחזק צינורות קליטה, טרנספורמציה ואיכות נתונים ב-Databricks באמצעות PySpark ו-SparkSQL.
- צור ועדכן DAGs ב-MWAA Airflow לתזמור תהליכי נתונים.
- כתוב ואופטימז שאילתות SQL למשימות טרנספורמציה ואימות.
- הטמע ונטר בדיקות איכות נתונים באמצעות Great Expectations או כלי מקביל.
- תרום לסקירות קוד עמיתים.
- פתור תקלות בצינורות ובעיות איכות נתונים בסיוע מהנדסים בכירים.
- צור ועדכן תיעוד עבור מערכי נתונים וצינורות.
- השתתף בתכנון ספרינטים, בהערכות ובפגישות רטרוספקטיבה.
- יישם את תקני הצוות ל-CI/CD, בדיקות וממשל נתונים.
- סייע בחיזוק האמינות והאיכות של אגם הנתונים הארגוני של Visa.
דרישות
- להיות מבוסס בברזיל.
- לתקשר באנגלית ברמת B2 ומעלה (בינונית-גבוהה).
- לפחות 3 שנות ניסיון רלוונטי עם תואר ראשון או תואר Associate, או לפחות 5 שנות ניסיון רלוונטי.
- להשתמש ב-Python לאוטומציה ולעיבוד נתונים.
- להבין צינורות נתונים באצווה ודפוסי ETL/ELT.
- להכיר את יסודות Apache Spark, כולל PySpark או SparkSQL.
- לעבוד עם משימות Databricks, תהליכי עבודה, ניהול אשכולות וכיוונון ביצועים.
- להשתמש ב-SQL ברמה בינונית עד מתקדמת, כולל חיבורים, פונקציות חלון ו-CTE.
- להבין תכנון אגמי נתונים ב-Amazon S3, כולל חלוקה למחיצות, פריסה וניהול מחזור חיים.
- להכיר מושגי ליבה ב-AWS, כולל S3, IAM ו-CloudWatch.
- להבין מידול ממדי או Kimball וארכיטקטורות שכבות medallion.
- להשתמש בתהליכי עבודה של Git/GitHub ולהשתתף בסקירות קוד.
- יתרון לניסיון ב-Delta Lake, Apache Airflow/MWAA, דפוסי CDC, מושגי איכות נתונים, יסודות Terraform או שילוב BI כגון Superset ובניית לוחות מחוונים.
הטבות
- מתכונת עבודה מרחוק.
- הזדמנות להשפיע בקנה מידה רחב.
- פיתוח מקצועי וצמיחת מיומנויות באמצעות עבודה משמעותית.
- לעובדים מרחוק עשויות להיות הזדמנויות מתוזמנות, בכפוף להודעה מראש, לעבוד ממשרד של Visa.