Η The Codest είναι μια διεθνής εταιρεία ανάπτυξης λογισμικού με έδρα στο Ηνωμένο Βασίλειο και τεχνολογικούς κόμβους στην Πολωνία. Δημιουργεί ψηφιακά προϊόντα και ενισχύει τις ομάδες μηχανικών των πελατών της με έμπειρους προγραμματιστές στους τομείς της ανάπτυξης backend και frontend, της μηχανικής cloud και της μηχανικής δεδομένων. Η εταιρεία συνεργάζεται με μεγάλες επιχειρήσεις, εταιρείες ταχείας ανάπτυξης και προμηθευτές λογισμικού μέσω ανάπτυξης έργων και ενίσχυσης ομάδων, με πελάτες μεταξύ άλλων στους κλάδους του fintech, του ηλεκτρονικού εμπορίου και της διαφημιστικής τεχνολογίας.
Ανώτερος μηχανικός δεδομένων Databricks
Δημιουργήστε πλατφόρμες Databricks και αγωγούς δεδομένων εργαζόμενοι εξ αποστάσεως από την Πολωνία. Συμβάλετε σε μια τραπεζική εφαρμογή για πελάτες μεγάλου ιαπωνικού χρηματοοικονομικού ομίλου.
Πολωνία22.000 zł – 30.000 zł / μήνα
Εξ αποστάσεωςΠλήρης απασχόλησηΜεσαίο επίπεδοSeniorΑπαιτούμενη Γλώσσα: ΑγγλικάΜηχανικός δεδομένωνΠεριγραφή
- Δημιουργήστε και συντηρήστε επεκτάσιμες πλατφόρμες δεδομένων και αγωγούς Databricks.
- Συνεργαστείτε με ομάδες διαφορετικών ειδικοτήτων για την παροχή αξιόπιστων και προσβάσιμων δεδομένων για αναλύσεις και επιχειρηματική ευφυΐα.
- Χρησιμοποιήστε τα επίπεδα Bronze, Silver και Gold της λίμνης δεδομένων για την υλοποίηση της αρχιτεκτονικής Medallion.
- Δημιουργήστε πλαίσια ποιότητας δεδομένων με αυτοματοποιημένες δοκιμές και παρακολούθηση.
- Χρησιμοποιήστε τις δυνατότητες time travel, τις λειτουργίες vacuum και το Z-ordering του Delta Lake.
- Αναπτύξτε και συντηρήστε σύνθετους αγωγούς ETL/ELT για μεγάλα ημερήσια σύνολα δεδομένων.
- Ρυθμίστε ροές CI/CD για αγωγούς δεδομένων με Databricks Asset Bundles ή αντίστοιχα εργαλεία.
- Δημιουργήστε λύσεις μαζικής επεξεργασίας και επεξεργασίας σε πραγματικό χρόνο με Structured Streaming και Delta Live Tables.
- Βελτιώστε την απόδοση εργασιών Spark και την αποδοτικότητα κόστους μέσω αυτόματης κλιμάκωσης συστάδων και διαχείρισης πόρων.
- Ενσωματώστε τα API του Databricks με εξωτερικά συστήματα.
- Σχεδιάστε επεκτάσιμες αρχιτεκτονικές δεδομένων με Unity Catalog, Delta Lake και Apache Spark.
- Δημιουργήστε αρχιτεκτονικές data mesh με διακυβέρνηση και παρακολούθηση της προέλευσης και της διαδρομής των δεδομένων.
- Συμβάλετε σε μια τραπεζική εφαρμογή για πελάτες κορυφαίου χρηματοοικονομικού ομίλου στην Ιαπωνία.
Απαιτήσεις
- Τουλάχιστον έξι χρόνια εμπειρίας στη μηχανική δεδομένων.
- Αποδεδειγμένη εμπειρία στον σχεδιασμό και την ανάπτυξη σε περιβάλλον παραγωγής αγωγών δεδομένων και ροών εργασίας ETL/ELT.
- Άριστη γνώση Python, PySpark και SQL.
- Εκτεταμένη πρακτική εμπειρία με AWS Glue, Lambda, Redshift και S3.
- Γνώση εργαλείων διακυβέρνησης και διαχείρισης δεδομένων, όπως Unity Catalog και AWS SageMaker Unified Studio.
- Εμπειρία σε μετεγκαταστάσεις δεδομένων και εκσυγχρονισμό παλαιών συστημάτων.
- Αποτελεσματική επικοινωνία στα Αγγλικά.
- Η πιστοποίηση Databricks Certified Professional Data Engineer ή αντίστοιχη αποτελεί πρόσθετο προσόν.
- Η εμπειρία με εργαλεία δημιουργίας κοντέινερ και ενορχήστρωσης, όπως Docker και Kubernetes, αποτελεί πλεονέκτημα.
Παροχές
- Εργασία σε συνεργατικό και ευχάριστο περιβάλλον.
- Ευκαιρίες επαγγελματικής εξέλιξης.
- Συμμετοχή σε διεθνές έργο τραπεζικής εφαρμογής.
- Εξ αποστάσεως εργασία.