معهد إلدورادو للأبحاث هو معهد برازيلي للبحث والتطوير تأسس عام 1999، ويساعد المؤسسات على تحويل المبادرات التكنولوجية إلى منتجات مُختبرة وابتكارات عملية. تشمل أعماله اعتماد منتجات الاتصالات، والاختبارات المخبرية، والاستشارات في مجال الابتكار لقطاعات مثل السيارات والرعاية الصحية والخدمات اللوجستية والزراعة والطاقة والنفط والغاز. كما يطوّر المعهد برامج تدريب وتعليم، ويتعاون مع شركاء من قطاع الصناعة ومؤسسات البحث لتوسيع القدرات التكنولوجية.
محلل بيانات – PySpark وSQL وPower BI
أنشئ خطوط أنابيب البيانات والنماذج ولوحات المعلومات لمركز البحث والتطوير البرازيلي التابع لمعهد إلدورادو للأبحاث. اعمل باستخدام PySpark وSQL وDatabricks وPower BI.
الوصف
- أنشئ وانشر خطوط أنابيب لاستيعاب البيانات باستخدام واجهات REST وبرامج استخراج البيانات من الويب وإجراءات SQL القديمة والملفات
- ساهم في تنفيذ النسخ المتماثل للقراءة فقط للأنظمة التي لا تتيح وصولاً مباشراً إلى قواعد البيانات، مع مراعاة أثر الأداء
- حوّل البيانات باستخدام PySpark وSQL
- ساهم في قياس تكاليف المعالجة والأداء وتحديد أحجام الموارد بكفاءة
- ساهم في بناء طبقات البيانات Bronze وSilver وGold باستخدام بنية medallion
- أنشئ خطوط أنابيب متينة لاستخراج البيانات من الويب، مع اكتشاف تغيّر تخطيط الصفحات والحد من الحظر
- أزل البيانات المكررة وطبّعها واختبر جودتها
- ساهم في تنفيذ عقود البيانات وتنبيهات تغيّر المخططات للتكامل مع جهات خارجية
- أنشئ لوحات معلومات وتقارير باستخدام Power BI
- حوّل احتياجات الأعمال إلى نماذج بيانات وتصوّرات واضحة
- طبّق أمان مستوى الصفوف على التقارير بما يتوافق مع سياسات التحكم في الوصول القائم على الأدوار (RBAC)
- أنشئ اختبارات لجودة البيانات وتحويلات تعريفية باستخدام dbt
- ساهم في إعداد ميزات التحليلات ذاتية الخدمة، بما في ذلك Fabric Copilot
- تعاون مع فرق حوكمة البيانات للحفاظ على نسب البيانات وتصنيفها
- حدّد مشكلات الأداء في خطوط الأنابيب والاستعلامات وأصلحها
- أجرِ اختبارات قبول المستخدم وحسّن لوحات المعلومات بناءً على الملاحظات
المتطلبات
- درجة البكالوريوس في علوم الحاسوب أو هندسة الحاسوب أو تحليل النظم أو مجال ذي صلة
- خبرة متوسطة المستوى في هندسة البيانات أو Python أو PySpark وSQL
- الإلمام بـ Databricks أو Spark
- الإلمام بأدوات تنسيق سير العمل مثل Azure Data Factory
- الإلمام بتنسيقات البيانات التحليلية مثل Parquet وDelta Lake
- تُعدّ المعرفة بـ dbt ميزة إضافية
- الإلمام بـ Git وCI/CD لخطوط أنابيب البيانات
- خبرة في تكامل البيانات عبر واجهات REST
- معرفة بممارسات تصوّر البيانات وسرد القصص باستخدامها
- خبرة في العمل مع مصادر بيانات متنوعة، بما فيها SQL وواجهات API والملفات وLakehouse وWarehouse
- خبرة في تنفيذ أمان مستوى الصفوف
- الاستعداد للسفر إلى ساو باولو ميزة إضافية
- إتقان متقدم للغة الإنجليزية ميزة إضافية
المزايا
- تكافؤ الفرص لجميع المرشحين
- بيئة عمل متنوعة وشاملة
- الترحيب بالمرشحين من ذوي الإعاقة
- نظام عمل هجين
- فرص لاكتساب الخبرة والمساهمة في مشاريع ذات صلة
- إمكانية الوصول إلى البنية التحتية لمختبرات المؤسسة ومشاريع البحث والتطوير