מכון אלדורדו למחקר הוא מכון ברזילאי למחקר ופיתוח, שנוסד בשנת 1999 ומסייע לארגונים להפוך יוזמות טכנולוגיות למוצרים שנבדקו ולחדשנות מעשית. פעילותו כוללת הסמכת מוצרי תקשורת, בדיקות מעבדה וייעוץ בתחום החדשנות למגזרים כגון רכב, בריאות, לוגיסטיקה, חקלאות, אנרגיה ונפט וגז. המכון מפתח גם תוכניות הכשרה וחינוך ומשתף פעולה עם שותפים מהתעשייה ומקהילת המחקר כדי להרחיב את היכולות הטכנולוגיות.
אנליסט נתונים – PySpark, SQL ו-Power BI
בנו צינורות נתונים, מודלים ולוחות מחוונים עבור מרכז המחקר והפיתוח בברזיל של Instituto de Pesquisas Eldorado. עבדו עם PySpark, SQL, Databricks ו-Power BI.
תיאור
- יצירה ופריסה של צינורות קליטת נתונים באמצעות ממשקי REST, איסוף נתונים מהאינטרנט, פרוצדורות SQL מדור קודם וקבצים
- סיוע ביישום שכפול לקריאה בלבד עבור מערכות שאין להן גישה ישירה למסד הנתונים, תוך התחשבות בהשפעה על הביצועים
- טרנספורמציה של נתונים באמצעות PySpark ו-SQL
- סיוע בבדיקת עלויות עיבוד וביצועים ובקביעה יעילה של היקף המשאבים
- סיוע בבניית שכבות נתונים Bronze, Silver ו-Gold באמצעות ארכיטקטורת medallion
- בניית צינורות עמידים לאיסוף נתונים מהאינטרנט, עם זיהוי שינויים בפריסת העמודים והפחתת חסימות
- הסרת כפילויות ונרמול נתונים ובדיקת איכותם
- סיוע ביישום חוזי נתונים והתראות על שינויים בסכמות עבור אינטגרציות של צד שלישי
- יצירת לוחות מחוונים ודוחות ב-Power BI
- הפיכת צרכים עסקיים למודלי נתונים ולהמחשות ברורות
- החלת אבטחה ברמת השורה על דוחות בהתאם למדיניות בקרת גישה מבוססת תפקידים (RBAC)
- יצירת בדיקות איכות נתונים וטרנספורמציות הצהרתיות באמצעות dbt
- סיוע בהגדרת יכולות אנליטיקה בשירות עצמי, כולל Fabric Copilot
- עבודה עם צוותי ממשל נתונים לשמירה על מקור הנתונים וסיווגם
- איתור ותיקון של בעיות ביצועים בצינורות נתונים ובשאילתות
- ביצוע בדיקות קבלת משתמשים ושיפור לוחות מחוונים על סמך משוב
דרישות
- תואר ראשון במדעי המחשב, הנדסת מחשבים, ניתוח מערכות או תחום קשור
- ניסיון ברמת ביניים בהנדסת נתונים, ב-Python או PySpark וב-SQL
- היכרות עם Databricks או Spark
- היכרות עם כלי תזמור כגון Azure Data Factory
- היכרות עם פורמטים של נתונים אנליטיים כגון Parquet ו-Delta Lake
- ידע ב-dbt מהווה יתרון
- היכרות עם Git ו-CI/CD עבור צינורות נתונים
- ניסיון בשילוב נתונים באמצעות ממשקי REST
- ידע בשיטות להמחשת נתונים ובסיפור באמצעות נתונים
- ניסיון בעבודה עם מגוון מקורות נתונים, כולל SQL, ממשקי API, קבצים, Lakehouse ו-Warehouse
- ניסיון ביישום אבטחה ברמת השורה
- נכונות לנסוע לסאו פאולו מהווה יתרון
- אנגלית ברמה מתקדמת מהווה יתרון
הטבות
- הזדמנות שווה לכל המועמדים
- סביבת עבודה מגוונת ומכילה
- המשרה פתוחה למועמדים עם מוגבלות
- מתכונת עבודה היברידית
- הזדמנויות לצבור ניסיון ולתרום לפרויקטים רלוונטיים
- גישה לתשתיות המעבדה ולפרויקטי המחקר והפיתוח של הארגון