Η State Street είναι μια παγκόσμια εταιρεία χρηματοοικονομικών υπηρεσιών που εξυπηρετεί θεσμικούς επενδυτές μέσω λύσεων διαχείρισης επενδύσεων και εξυπηρέτησης επενδύσεων. Οι προσφορές της περιλαμβάνουν διαχείριση περιουσιακών στοιχείων, υπηρεσίες θεματοφυλακής και επενδυτική έρευνα, με την υποστήριξη τεχνογνωσίας στους τομείς των χρηματοοικονομικών, της χρηματοοικονομικής τεχνολογίας και των τραπεζικών υπηρεσιών. Η εταιρεία επικεντρώνεται στη βοήθεια των πελατών για τη διαχείριση σύνθετων επενδυτικών δραστηριοτήτων, αξιοποιώντας δεδομένα, insights και επιχειρησιακές δυνατότητες που έχουν σχεδιαστεί για τη βελτίωση της αποδοτικότητας και την υποστήριξη της λήψης χρηματοοικονομικών αποφάσεων.
Μηχανικός Δεδομένων, Βοηθός Αντιπροέδρου - Πρίνστον, Νιου Τζέρσεϊ
Δημιουργία πλατφορμών lakehouse σε AWS και Databricks για την υποστήριξη των νομικών λειτουργιών και των λειτουργιών συμμόρφωσης της State Street. Ανάπτυξη ελεγχόμενων αγωγών δεδομένων για αναλύσεις, αναφορές και εφαρμογές AI/ML.
Περιγραφή
- Δημιουργία και συντήρηση επεκτάσιμων αγωγών δεδομένων με PySpark, Python και Spark SQL
- Ανάπτυξη και βελτιστοποίηση ροών εργασίας ETL/ELT στο Databricks με Delta Lake
- Υλοποίηση αρχιτεκτονικής lakehouse Bronze, Silver και Gold για εταιρικές πλατφόρμες δεδομένων
- Διαχείριση Jobs, Workflows και Notebooks στο Databricks για ομαδικούς φόρτους και φόρτους ροής
- Δημιουργία επαναχρησιμοποιήσιμων πλαισίων για πρόσληψη, επεξεργασία και ενορχήστρωση δεδομένων
- Μετατροπή φόρτων δεδομένων σε containers με Docker και αυτοματοποίηση διαδικασιών μέσω scripting
- Σύνδεση αγωγών Databricks με Power Apps και Power Automate
- Διάθεση δεδομένων σε επιχειρησιακούς χρήστες μέσω API, connectors και επιμελημένων συνόλων δεδομένων
- Σχεδιασμός και βελτιστοποίηση αρχιτεκτονικών lakehouse στο Databricks
- Ενσωμάτωση SQL Server, Oracle και άλλων εταιρικών πηγών δεδομένων
- Εφαρμογή μεθόδων διαστατικής μοντελοποίησης, διαμερισμού και βελτιστοποίησης
- Επεξεργασία δομημένων και ημιδομημένων μορφών, συμπεριλαμβανομένων JSON και Parquet
- Βελτίωση της απόδοσης μέσω caching, indexing και βελτιστοποίησης Spark
- Δημοσίευση επιμελημένων συνόλων δεδομένων για Power BI, Power Apps και ροές εργασίας Power Automate
- Διατήρηση της ποιότητας δεδομένων με unit tests, πλαίσια επικύρωσης και αυτοματοποιημένους ελέγχους
- Παρακολούθηση και αντιμετώπιση προβλημάτων σε κατανεμημένους φόρτους και αγωγούς Spark
- Διερεύνηση αρχείων καταγραφής και επίλυση προβλημάτων παραγωγής σε Databricks και περιβάλλοντα cloud
- Διατήρηση προέλευσης δεδομένων, συνέπειας και ετοιμότητας για έλεγχο
- Συνεργασία με τις ομάδες Νομικών, Ασφάλειας, Συμμόρφωσης και Εταιρικών Δεδομένων
- Μετατροπή επιχειρησιακών απαιτήσεων σε λύσεις μηχανικής δεδομένων
- Λειτουργία ως θεματικός ειδικός στο Databricks και την αρχιτεκτονική lakehouse
- Ανεξάρτητη ηγεσία πρωτοβουλιών και ανάληψη ευθύνης για τα παραδοτέα
- Υποστήριξη της διακυβέρνησης με Databricks Unity Catalog και ελέγχους AWS IAM και KMS
- Εκπλήρωση απαιτήσεων ιδιωτικότητας δεδομένων, κανονιστικών απαιτήσεων, ασφάλειας και ελέγχου
- Διατήρηση ελέγχων πρόσβασης και προτύπων ταξινόμησης και χειρισμού δεδομένων
- Συνεργασία με τις ομάδες IAM και ασφάλειας για την προστασία της πρόσβασης στα δεδομένα
- Σχεδιασμός και συντήρηση αγωγών CI/CD με Harness, Azure DevOps ή GitHub
- Αυτοματοποίηση αναπτύξεων πόρων Databricks με Databricks Repos και CLI
- Παρακολούθηση, προγραμματισμός και βελτιστοποίηση ροών εργασίας με εργαλεία ενορχήστρωσης Databricks
- Συντήρηση τεκμηρίωσης αρχιτεκτονικής, ροής δεδομένων και runbooks
- Βελτίωση της απόδοσης, της επεκτασιμότητας και της αποδοτικότητας κόστους της πλατφόρμας
Απαιτήσεις
- Πτυχίο ή μεταπτυχιακό στην επιστήμη υπολογιστών, τη μηχανική δεδομένων, τα πληροφοριακά συστήματα ή συναφή τεχνικό κλάδο
- Τουλάχιστον 8 χρόνια εμπειρίας στη μηχανική δεδομένων ή στην ανάπτυξη πλατφορμών δεδομένων
- Πρακτική εξειδίκευση σε Databricks και Apache Spark
- Άριστη γνώση PySpark, Python και SQL
- Εμπειρία με υπηρεσίες δεδομένων AWS, συμπεριλαμβανομένων των S3, Glue, Lambda και IAM
- Εμπειρία με Delta Lake και αρχιτεκτονική lakehouse
- Ισχυρή γνώση κατανεμημένης επεξεργασίας δεδομένων
- Ισχυρή γνώση πλαισίων ETL και ELT
- Ισχυρή γνώση τεχνικών μοντελοποίησης δεδομένων
- Πρακτική εμπειρία με στοιχεία του Databricks, όπως Delta Lake, Workflows και Unity Catalog
- Εκτεταμένη εμπειρία στη δημιουργία ολοκληρωμένων αγωγών ομαδικής επεξεργασίας και ροής με AWS και Databricks
- Εξοικείωση με τη βελτιστοποίηση απόδοσης Spark και Delta Lake
- Εμπειρία στην υποστήριξη φόρτων εργασίας αναλύσεων, αναφορών ή AI/ML σε πλατφόρμα lakehouse
- Γνώση διακυβέρνησης δεδομένων, διαχείρισης μεταδεδομένων και ελέγχων ασφάλειας
- Εμπειρία στους νομικούς τομείς, τη συμμόρφωση, τις χρηματοοικονομικές υπηρεσίες ή άλλους ρυθμιζόμενους κλάδους
- Κατανόηση νομικών εννοιών δεδομένων, συμπεριλαμβανομένων συμβάσεων, ρητρών, υποχρεώσεων και υποθέσεων
- Εξοικείωση με την επεξεργασία μη δομημένων δεδομένων ή με αγωγούς εγγράφων και NLP
- Εμπειρία με Power BI, Power Apps ή Power Platform
- Εμπειρία στη διαχείριση ευαίσθητων δεδομένων σε περιβάλλοντα που βασίζονται σε ελέγχους
Παροχές
- Πρόγραμμα συνταξιοδοτικής αποταμίευσης 401(k) με εργοδοτική αντιστοίχιση
- Επιλογές ασφάλισης που περιλαμβάνουν βασική ασφάλιση ζωής, ιατρική, οδοντιατρική, όρασης, μακροχρόνιας ανικανότητας και άλλες προαιρετικές καλύψεις
- Άδεια μετ’ αποδοχών που καλύπτει διακοπές, αναρρωτική άδεια, βραχυχρόνια ανικανότητα και ευθύνες οικογενειακής φροντίδας
- Πρόγραμμα υποστήριξης εργαζομένων
- Κίνητρα αποζημίωσης με δυνατότητα συμμετοχής σε ετήσιες ανταμοιβές βάσει απόδοσης
- Δυνατότητα συμμετοχής σε επιλεγμένα αποταμιευτικά προγράμματα με φορολογικά πλεονεκτήματα
- Συμπεριληπτικές ευκαιρίες επαγγελματικής ανάπτυξης
- Ευέλικτη υποστήριξη ισορροπίας εργασίας και προσωπικής ζωής
- Ημέρες εθελοντισμού με αποδοχές
- Δίκτυα εργαζομένων