Η Visa είναι μια παγκόσμια εταιρεία τεχνολογίας πληρωμών που εξυπηρετεί καταναλωτές, εμπόρους, χρηματοπιστωτικά ιδρύματα και κυβερνήσεις μέσω του ηλεκτρονικού δικτύου πληρωμών της. Η πλατφόρμα της υποστηρίζει συναλλαγές με πιστωτικές, χρεωστικές και προπληρωμένες κάρτες, καθώς και επεξεργασία πληρωμών, πρόληψη απάτης, ασφάλεια, αναλύσεις και άλλες υπηρεσίες για καταναλωτές και επιχειρήσεις. Η Visa αναπτύσσει επίσης νέες λύσεις πληρωμών, συμπεριλαμβανομένων πρωτοβουλιών για εμπόριο με τη χρήση τεχνητής νοημοσύνης, και στηρίζει τη χρηματοοικονομική ένταξη μέσω του Visa Foundation.
Ανώτερος Μηχανικός Δεδομένων, Λίμνη Δεδομένων (Εξ αποστάσεως εργασία από τη Βραζιλία)
Δημιούργησε και συντήρησε αγωγούς Spark, Databricks και Airflow για την εταιρική λίμνη δεδομένων της Visa. Βελτίωσε την ποιότητα δεδομένων, τον συντονισμό και την αξιόπιστη αυτοεξυπηρετούμενη πρόσβαση στα δεδομένα.
Περιγραφή
- Ανάπτυξε, δοκίμασε και συντήρησε αγωγούς εισαγωγής, μετασχηματισμού και ποιότητας δεδομένων στο Databricks με PySpark και SparkSQL.
- Δημιούργησε και ενημέρωσε DAGs του MWAA Airflow για τον συντονισμό ροών εργασίας δεδομένων.
- Έγραψε και βελτιστοποίησε SQL για εργασίες μετασχηματισμού και επικύρωσης.
- Υλοποίησε και παρακολούθησε ελέγχους ποιότητας δεδομένων με το Great Expectations ή ισοδύναμο εργαλείο.
- Συνέβαλε σε αξιολογήσεις κώδικα από συναδέλφους.
- Αντιμετώπισε αστοχίες αγωγών και ζητήματα ποιότητας δεδομένων με την υποστήριξη ανώτερων μηχανικών.
- Δημιούργησε και ενημέρωσε τεκμηρίωση για σύνολα δεδομένων και αγωγούς.
- Συμμετείχε στον προγραμματισμό sprint, στην εκτίμηση και στις αναδρομικές συναντήσεις.
- Εφάρμοσε τα πρότυπα της ομάδας για CI/CD, δοκιμές και διακυβέρνηση.
- Βοήθησε στην ενίσχυση της αξιοπιστίας και της ποιότητας της εταιρικής λίμνης δεδομένων της Visa.
Απαιτήσεις
- Να βρίσκεσαι στη Βραζιλία.
- Να επικοινωνείς στα αγγλικά σε επίπεδο B2 ή ανώτερο (Άνω-Μεσαίο).
- Να διαθέτεις τουλάχιστον 3 χρόνια σχετικής εμπειρίας με πτυχίο Bachelor ή Associate ή τουλάχιστον 5 χρόνια σχετικής εμπειρίας.
- Να χρησιμοποιείς Python για αυτοματοποίηση και επεξεργασία δεδομένων.
- Να κατανοείς αγωγούς δεδομένων κατά παρτίδες και μοτίβα ETL/ELT.
- Να γνωρίζεις τις βασικές αρχές του Apache Spark, συμπεριλαμβανομένων των PySpark ή SparkSQL.
- Να εργάζεσαι με εργασίες και ροές εργασίας Databricks, διαχείριση συστάδων και βελτιστοποίηση απόδοσης.
- Να χρησιμοποιείς SQL μεσαίου έως προχωρημένου επιπέδου, συμπεριλαμβανομένων joins, window functions και CTEs.
- Να κατανοείς τον σχεδιασμό λιμνών δεδομένων στο Amazon S3, συμπεριλαμβανομένων της κατάτμησης, της διάταξης και της διαχείρισης κύκλου ζωής.
- Να γνωρίζεις βασικές έννοιες του AWS, συμπεριλαμβανομένων των S3, IAM και CloudWatch.
- Να κατανοείς τη dimensional ή Kimball μοντελοποίηση και τις αρχιτεκτονικές επιπέδων medallion.
- Να χρησιμοποιείς ροές εργασίας Git/GitHub και να συμμετέχεις σε αξιολογήσεις κώδικα.
- Επιθυμητή εμπειρία με Delta Lake, Apache Airflow/MWAA, μοτίβα CDC, έννοιες ποιότητας δεδομένων, βασικές αρχές Terraform ή ενσωμάτωση BI όπως Superset και δημιουργία dashboards.
Παροχές
- Καθεστώς εξ αποστάσεως εργασίας.
- Ευκαιρία να έχεις αντίκτυπο σε μεγάλη κλίμακα.
- Επαγγελματική ανάπτυξη και ενίσχυση δεξιοτήτων μέσω ουσιαστικής εργασίας.
- Οι εργαζόμενοι εξ αποστάσεως ενδέχεται να έχουν προγραμματισμένες ευκαιρίες, με έγκαιρη ειδοποίηση, να εργαστούν από γραφείο της Visa.