Η Sigma Software Group είναι μια πολυεθνική εταιρεία τεχνολογικών συμβουλευτικών υπηρεσιών που ιδρύθηκε το 2002. Οι ομάδες της παρέχουν ανάπτυξη λογισμικού, γραφιστικό σχεδιασμό, δοκιμές και τεχνική υποστήριξη σε πελάτες από κλάδους όπως η αυτοκινητοβιομηχανία, η υγειονομική περίθαλψη, οι τηλεπικοινωνίες, η αεροπορία, οι τραπεζικές υπηρεσίες, τα παιχνίδια, τα ακίνητα και η διαφήμιση. Η εταιρεία προσλαμβάνει ειδικούς πληροφορικής για να εργάζονται σε σύνθετα engineering projects και υποστηρίζει την επαγγελματική ανάπτυξη μέσω mentoring και συνεχούς μάθησης. Οι δυνατότητες απομακρυσμένης εργασίας αποτελούν μέρος του μοντέλου λειτουργίας της, με έργα για οργανισμούς όπως οι AstraZeneca, Scania και SAS.
Ανώτερος μηχανικός δεδομένων, μετάβαση στο Databricks
Μεταφέρετε μια μεγάλης κλίμακας πλατφόρμα αναλυτικών δεδομένων λιανικής από το BigQuery στο Databricks, σχεδιάζοντας αρχιτεκτονικές Lakehouse, αγωγούς Spark και λύσεις διακυβέρνησης δεδομένων στη Sigma Software Group.
Περιγραφή
- Συμβολή στη μετάβαση μιας μεγάλης κλίμακας πλατφόρμας αναλυτικών δεδομένων από το BigQuery στο Databricks.
- Σχεδιασμός και υλοποίηση επεκτάσιμων αρχιτεκτονικών Lakehouse με Databricks και Delta Lake.
- Αξιολόγηση υφιστάμενων φόρτων ETL και ELT και καθορισμός σχεδίων μετάβασης.
- Ανάπτυξη και βελτιστοποίηση αγωγών για μεγάλους όγκους δεδομένων λιανικής και αναλυτικών δεδομένων.
- Δημιουργία στρατηγικών σταδιακής επεξεργασίας και επεκτάσιμων πλαισίων μετασχηματισμού.
- Υλοποίηση και συντήρηση λύσεων επεξεργασίας δεδομένων Spark με PySpark.
- Σχεδιασμός και συντήρηση των επιπέδων Bronze, Silver και Gold στην αρχιτεκτονική medallion.
- Εφαρμογή πρακτικών διακυβέρνησης και ασφάλειας δεδομένων με το Unity Catalog.
- Συνεργασία με ομάδες Επιστήμης Δεδομένων, Αναλυτικής, Προϊόντος και Μηχανικής Πελατών.
- Συμμετοχή σε συζητήσεις αρχιτεκτονικής και στον σχεδιασμό τεχνικών λύσεων.
- Δημιουργία επαναχρησιμοποιήσιμων στοιχείων πλατφόρμας δεδομένων και μηχανικών προτύπων.
- Αναθεώρηση κώδικα και βελτίωση της αξιοπιστίας και της συντηρησιμότητας της πλατφόρμας.
- Διάγνωση και βελτιστοποίηση σύνθετων φόρτων SQL και Spark.
- Υποστήριξη εκδόσεων παραγωγής και εκσυγχρονισμού της πλατφόρμας.
Απαιτήσεις
- Τουλάχιστον πέντε χρόνια επαγγελματικής εμπειρίας στη μηχανική δεδομένων.
- Ισχυρές δεξιότητες Python και προχωρημένη γνώση SQL.
- Εμπορική, πρακτική εμπειρία με το Databricks.
- Ισχυρή γνώση του Apache Spark, ιδιαίτερα του PySpark.
- Εμπειρία στον σχεδιασμό και την υλοποίηση σύγχρονων πλατφορμών δεδομένων cloud.
- Εμπειρία στην ανάπτυξη αγωγών ETL ή ELT και λύσεων επεξεργασίας δεδομένων μεγάλης κλίμακας.
- Πρακτική εμπειρία με το Delta Lake.
- Εμπειρία με το Spark Declarative Pipelines.
- Εμπειρία στην παρακολούθηση συστάδων, στην ανάλυση μετρικών και στη βελτιστοποίηση απόδοσης.
- Ισχυρή κατανόηση αρχιτεκτονικών κατανεμημένης επεξεργασίας δεδομένων.
- Καλή γνώση αποθηκών δεδομένων και διαστατικής μοντελοποίησης.
- Εμπειρία με το Airflow ή παρόμοιο εργαλείο ενορχήστρωσης.
- Εμπειρία στη ρύθμιση σύνθετων αναλυτικών φόρτων SQL.
- Εμπειρία στην εφαρμογή πρακτικών CI/CD για πλατφόρμες μηχανικής δεδομένων.
- Ισχυρές δεξιότητες αντιμετώπισης προβλημάτων και βελτιστοποίησης απόδοσης.
- Ικανότητα συνεργασίας με διαλειτουργικές ομάδες σε διεθνή περιβάλλοντα.
- Αγγλικά σε επίπεδο άνω του μέσου ή υψηλότερο.
Παροχές
- Συνεχείς ευκαιρίες μάθησης.
- Ευκαιρίες διεύρυνσης της τεχνολογικής σας εξειδίκευσης.
- Ουσιαστικός αντίκτυπος μέσω της μηχανικής εργασίας.
- Εργασία σε σύνθετα διεθνή έργα.