Το Instituto de Pesquisas Eldorado είναι ένα βραζιλιάνικο ινστιτούτο έρευνας και ανάπτυξης που ιδρύθηκε το 1999 και βοηθά οργανισμούς να μετατρέπουν τεχνολογικές πρωτοβουλίες σε δοκιμασμένα προϊόντα και πρακτική καινοτομία. Το έργο του περιλαμβάνει πιστοποίηση προϊόντων τηλεπικοινωνιών, εργαστηριακές δοκιμές και συμβουλευτικές υπηρεσίες καινοτομίας για κλάδους όπως η αυτοκινητοβιομηχανία, η υγειονομική περίθαλψη, τα logistics, η γεωργία, η ενέργεια και το πετρέλαιο και φυσικό αέριο. Το ινστιτούτο αναπτύσσει επίσης προγράμματα κατάρτισης και εκπαίδευσης και συνεργάζεται με εταίρους από τη βιομηχανία και την ερευνητική κοινότητα για την ενίσχυση των τεχνολογικών δυνατοτήτων.
Αναλυτής δεδομένων – PySpark, SQL και Power BI
Δημιουργήστε ροές δεδομένων, μοντέλα και πίνακες εργαλείων για το κέντρο Έρευνας και Ανάπτυξης της Βραζιλίας του Instituto de Pesquisas Eldorado. Εργαστείτε με PySpark, SQL, Databricks και Power BI.
Περιγραφή
- Δημιουργία και ανάπτυξη ροών εισαγωγής δεδομένων με χρήση REST API, συλλογής δεδομένων από τον ιστό, παλαιών διαδικασιών SQL και αρχείων
- Συνδρομή στην υλοποίηση αναπαραγωγής μόνο για ανάγνωση για συστήματα χωρίς άμεση πρόσβαση στη βάση δεδομένων, λαμβάνοντας υπόψη τις επιπτώσεις στην απόδοση
- Μετασχηματισμός δεδομένων με PySpark και SQL
- Συνδρομή στη συγκριτική αξιολόγηση κόστους επεξεργασίας και απόδοσης και στην αποδοτική διαστασιολόγηση πόρων
- Συνδρομή στην ανάπτυξη επιπέδων δεδομένων Bronze, Silver και Gold με την αρχιτεκτονική medallion
- Δημιουργία ανθεκτικών ροών συλλογής δεδομένων από τον ιστό, με εντοπισμό αλλαγών στη διάταξη και μετριασμό αποκλεισμών
- Αφαίρεση διπλοτύπων και κανονικοποίηση δεδομένων, καθώς και έλεγχος της ποιότητάς τους
- Συνδρομή στην υλοποίηση συμβάσεων δεδομένων και ειδοποιήσεων για αλλαγές σχήματος σε ενσωματώσεις τρίτων
- Δημιουργία πινάκων εργαλείων και αναφορών Power BI
- Μετατροπή επιχειρηματικών αναγκών σε μοντέλα δεδομένων και σαφείς οπτικοποιήσεις
- Εφαρμογή ασφάλειας σε επίπεδο γραμμής στις αναφορές σύμφωνα με τις πολιτικές ελέγχου πρόσβασης βάσει ρόλων (RBAC)
- Δημιουργία ελέγχων ποιότητας δεδομένων και δηλωτικών μετασχηματισμών με dbt
- Συνδρομή στη διαμόρφωση δυνατοτήτων αυτοεξυπηρετούμενης ανάλυσης, συμπεριλαμβανομένου του Fabric Copilot
- Συνεργασία με ομάδες διακυβέρνησης δεδομένων για τη διατήρηση της προέλευσης και της ταξινόμησής τους
- Εντοπισμός και επίλυση προβλημάτων απόδοσης σε ροές δεδομένων και ερωτήματα
- Διεξαγωγή δοκιμών αποδοχής χρηστών και βελτίωση πινάκων εργαλείων βάσει σχολίων
Απαιτήσεις
- Πτυχίο στην Επιστήμη Υπολογιστών, στη Μηχανική Υπολογιστών, στην Ανάλυση Συστημάτων ή σε συναφή κλάδο
- Εμπειρία μεσαίου επιπέδου στη μηχανική δεδομένων, στην Python ή PySpark και στην SQL
- Εξοικείωση με Databricks ή Spark
- Εξοικείωση με εργαλεία ενορχήστρωσης, όπως το Azure Data Factory
- Εξοικείωση με αναλυτικές μορφές δεδομένων, όπως Parquet και Delta Lake
- Η γνώση του dbt αποτελεί πλεονέκτημα
- Εξοικείωση με Git και CI/CD για ροές δεδομένων
- Εμπειρία στην ενσωμάτωση δεδομένων μέσω REST API
- Γνώση πρακτικών οπτικοποίησης δεδομένων και αφήγησης με δεδομένα
- Εμπειρία στην εργασία με ποικίλες πηγές δεδομένων, όπως SQL, API, αρχεία, Lakehouse και Warehouse
- Εμπειρία στην υλοποίηση ασφάλειας σε επίπεδο γραμμής
- Η προθυμία για ταξίδια στο Σάο Πάολο αποτελεί πλεονέκτημα
- Η γνώση αγγλικών σε προχωρημένο επίπεδο αποτελεί πλεονέκτημα
Παροχές
- Ίσες ευκαιρίες για όλους τους υποψηφίους
- Ένα ποικιλόμορφο και συμπεριληπτικό εργασιακό περιβάλλον
- Η θέση είναι ανοιχτή σε υποψηφίους με αναπηρία
- Υβριδικό μοντέλο εργασίας
- Ευκαιρίες απόκτησης εμπειρίας και συνεισφοράς σε συναφή έργα
- Πρόσβαση στις εργαστηριακές υποδομές και στα έργα Έρευνας και Ανάπτυξης του οργανισμού