Η Walmart είναι μια παγκόσμια εταιρεία λιανικής και ηλεκτρονικού εμπορίου που εξυπηρετεί τους καταναλωτές μέσω υπεραγορών, εκπτωτικών πολυκαταστημάτων, καταστημάτων ειδών παντοπωλείου και μιας διαδικτυακής αγοράς. Η ευρεία γκάμα προϊόντων της υποστηρίζεται από ένα μεγάλο δίκτυο φυσικών καταστημάτων, δραστηριότητες άμεσης πώλησης στους καταναλωτές και τα συστήματα εφοδιαστικής και εφοδιαστικής αλυσίδας που απαιτούνται για τη διακίνηση προϊόντων σε ολόκληρη την εταιρεία.
Ανώτερος Μηχανικός Δεδομένων - Μπανγκαλόρ, Ινδία (Εργασία με φυσική παρουσία)
Δημιούργησε κλιμακούμενες διοχετεύσεις δεδομένων batch και streaming και προϊόντα δεδομένων GenAI για τις λειτουργίες ελέγχου πληρωμών μετά την εκκαθάριση της Walmart. Βελτίωσε την ακρίβεια πληρωμών, τις διαδικασίες συμφωνίας και ανάκτησης και τα χρηματοοικονομικά analytics.
Περιγραφή
- Δημιούργησε και συντήρησε κλιμακούμενες διοχετεύσεις δεδομένων batch, streaming και σχεδόν πραγματικού χρόνου για έλεγχο πληρωμών μετά την εκκαθάριση, ακεραιότητα πληρωμών, συμφωνία προμηθευτών, λειτουργίες ανάκτησης και χρηματοοικονομικά analytics.
- Ανάπτυξε επιμελημένα σύνολα δεδομένων, σημασιολογικά μοντέλα, πίνακες έτοιμους για features και επαναχρησιμοποιήσιμα προϊόντα δεδομένων από συστήματα τιμολογίων, εντολών αγοράς, παραλαβών, προμηθευτών, απαιτήσεων, τιμολόγησης και πληρωμών.
- Δημιούργησε ροές ELT, ETL και streaming με SQL, Python, PySpark, Apache Flink, dbt, εργαλεία ενορχήστρωσης, πλατφόρμες ροής συμβάντων και τεχνολογίες δεδομένων cloud.
- Ανάπτυξε διοχετεύσεις streaming και σύλληψης αλλαγών δεδομένων με επεξεργασία βάσει χρόνου συμβάντος, διαχείριση καθυστερημένων δεδομένων, δυνατότητα επανάληψης, idempotency, backfills και ανάκαμψη από αστοχίες.
- Σχεδίασε και λειτούργησε προϊόντα δεδομένων lakehouse με Apache Hudi, Apache Iceberg ή Delta Lake.
- Καθιέρωσε ελέγχους ποιότητας δεδομένων, δικλίδες συμφωνίας, επικύρωση σχημάτων, πρακτικές lineage, παρακολούθηση, ειδοποιήσεις και observability.
- Συνεργάσου με τις ομάδες Finance, Audit, Operations, Product, Data Science και Engineering για την παράδοση λύσεων δεδομένων έτοιμων για παραγωγή.
- Ενεργοποίησε τον εντοπισμό ανωμαλιών, την ιεράρχηση εξαιρέσεων, κανόνες ελέγχου, βαθμολόγηση με machine learning και ροές εργασίας GenAI.
- Δημιούργησε αυτοματισμούς και υπηρεσίες δεδομένων που βοηθούν τις ομάδες ελέγχου να συνοψίζουν τεκμήρια, να διαχειρίζονται εξαιρέσεις, να παρέχουν πλαίσιο διερεύνησης και να μειώνουν τη χειροκίνητη επισκόπηση.
- Υλοποίησε μοτίβα μηχανικής δεδομένων GenAI, όπως αποθετήρια εγγράφων έτοιμα για ανάκτηση, διοχετεύσεις embeddings, διασυνδέσεις με vector databases, εμπλουτισμό μεταδεδομένων και ελεγχόμενη ανάκτηση γνώσης.
- Βελτίωσε φόρτους εργασίας batch και streaming ως προς την αξιοπιστία, την επικαιρότητα, την καθυστέρηση, τη διαχείριση κατάστασης, την υπολογιστική αποδοτικότητα και τη χρηστικότητα downstream.
- Διερεύνησε αποκλίσεις δεδομένων, αστοχίες διοχετεύσεων, αναντιστοιχίες συμφωνίας και προβλήματα συστημάτων προέλευσης μέσω ανάλυσης βασικής αιτίας.
Απαιτήσεις
- Πτυχίο Πληροφορικής, Μηχανικής, Τεχνολογίας Πληροφοριών, Μηχανικής Δεδομένων, Αναλυτικής, Μαθηματικών, Στατιστικής ή συναφούς κλάδου και τουλάχιστον 6 χρόνια σχετικής εμπειρίας· εναλλακτικά, μεταπτυχιακός τίτλος με τουλάχιστον 4 χρόνια ή διδακτορικό με τουλάχιστον 3 χρόνια σχετικής εμπειρίας.
- Αποδεδειγμένη πρακτική ικανότητα σε SQL, Python, PySpark, Apache Flink ή συγκρίσιμο framework επεξεργασίας ροών και σε κατανεμημένη επεξεργασία δεδομένων μεγάλης κλίμακας.
- Εμπειρία με dbt ή συγκρίσιμο framework μετασχηματισμών, Airflow ή παρόμοια εργαλεία ενορχήστρωσης, Kafka ή ισοδύναμη πλατφόρμα ροής συμβάντων και τεχνολογίες δεδομένων cloud ή enterprise, όπως BigQuery, Hive ή Spark.
- Αποδεδειγμένο ιστορικό σχεδιασμού, ανάπτυξης και υποστήριξης παραγωγικών διοχετεύσεων batch και streaming, ροών ELT/ETL, μοντέλων δεδομένων και επαναχρησιμοποιήσιμων προϊόντων δεδομένων.
- Στέρεη γνώση μοντελοποίησης δεδομένων, διαμερισμού, ρύθμισης απόδοσης, επαυξητικής επεξεργασίας, CDC, εξέλιξης σχημάτων, συμβολαίων δεδομένων, διαχείρισης μεταδεδομένων, lineage και μορφών lakehouse, συμπεριλαμβανομένων των Apache Hudi, Apache Iceberg ή Delta Lake.
- Εμπειρία στην παράδοση ελέγχων ποιότητας δεδομένων, λογικής συμφωνίας, frameworks επικύρωσης, observability, παρακολούθησης, ειδοποιήσεων και επίλυσης περιστατικών για παραγωγικές διοχετεύσεις.
- Εμπειρία στην ανάπτυξη λύσεων streaming με επεξεργασία βάσει χρόνου συμβάντος, stateful μετασχηματισμούς, checkpointing, watermarking, επεξεργασία exactly-once ή effectively-once και στρατηγικές replay ή backfill.
- Εμπειρία στη διαχείριση μεγάλων δομημένων και ημιδομημένων συνόλων δεδομένων από πολλαπλά συστήματα προέλευσης, συμπεριλαμβανομένων λειτουργικών δεδομένων με ασυνεπείς επιχειρηματικούς ορισμούς.
- Ισχυρές δεξιότητες συνεργασίας και ικανότητα εργασίας μεταξύ των ομάδων Finance, Audit, Operations, Product, Data Science και Engineering.
- Οι εναλλακτικές ελάχιστες προϋποθέσεις περιλαμβάνουν πτυχίο Πληροφορικής με 3 χρόνια εμπειρίας στη μηχανική λογισμικού ή συναφή εμπειρία· 5 χρόνια εμπειρίας στη μηχανική λογισμικού ή συναφή εμπειρία· ή μεταπτυχιακό στην Πληροφορική με 1 χρόνο εμπειρίας στη μηχανική λογισμικού ή συναφή εμπειρία.
- Τουλάχιστον 2 χρόνια εμπειρίας στη μηχανική δεδομένων, τη μηχανική βάσεων δεδομένων, την επιχειρηματική ευφυΐα ή την επιχειρηματική αναλυτική.
Παροχές
- Βραβεία κινήτρων βάσει απόδοσης.
- Άδεια μητρότητας και γονική άδεια.
- Άδεια μετ' αποδοχών.
- Παροχές υγείας.