Η Simple Machines είναι αυστραλιανή εταιρεία συμβούλων που δραστηριοποιείται στην αρχιτεκτονική δεδομένων, τη μηχανική δεδομένων, την επιστήμη δεδομένων και την ανάπτυξη λογισμικού. Οι σύμβουλοί της σχεδιάζουν και δημιουργούν κατανεμημένες πλατφόρμες δεδομένων και εφαρμογές μηχανικής μάθησης για επιχειρήσεις, δημόσιους φορείς και παγκόσμιες εταιρείες τεχνολογίας. Η ομάδα παρέχει επίσης συμβουλευτικές υπηρεσίες και εκπαίδευση στο Kafka ως προτιμώμενος συνεργάτης της Confluent, καθώς και συμβουλευτικές υπηρεσίες και εκπαίδευση στα Spark και Scala μέσω των συνεργασιών της με τις Databricks και Lightbend. Για όσους εξετάζουν ρόλους στη μηχανική δεδομένων, την επιστήμη δεδομένων ή την ανάπτυξη λογισμικού, η Simple Machines προσφέρει ένα εξειδικευμένο συμβουλευτικό περιβάλλον με επίκεντρο την αξιοποίηση των δεδομένων σε πραγματικά συστήματα.
Κύριος Μηχανικός Δεδομένων (Εξ αποστάσεως, Πολωνία)
Αναλάβετε τον σχεδιασμό και την υλοποίηση εγγενών στο cloud πλατφορμών δεδομένων, αγωγών και προϊόντων δεδομένων για τη Simple Machines, μια παγκόσμια εταιρεία τεχνολογικών συμβούλων. Εργαστείτε εξ αποστάσεως από την Πολωνία, καθορίστε την τεχνική κατεύθυνση και συνεργαστείτε με πελάτες.
Περιγραφή
- Αναλάβετε την αρχιτεκτονική σύγχρονων εγγενών στο cloud πλατφορμών δεδομένων, από τον σχεδιασμό έως την παράδοση.
- Δημιουργήστε επεκτάσιμα οικοσυστήματα δεδομένων με data mesh, προϊόντα δεδομένων και συμβόλαια δεδομένων.
- Καθορίστε την αρχιτεκτονική για την πρόσληψη, αποθήκευση, επεξεργασία και πρόσβαση στα δεδομένα.
- Διασφαλίστε ότι οι πλατφόρμες πληρούν τα πρότυπα ασφάλειας, συμμόρφωσης και ετοιμότητας για παραγωγή.
- Παραδώστε εγγενείς στο cloud πλατφόρμες με Databricks, Snowflake, AWS και GCP.
- Συνδέστε συστήματα πελατών για να παρέχετε επεκτάσιμη πρόσβαση στα δεδομένα στους καταναλωτές τους.
- Δημιουργήστε και βελτιστοποιήστε αγωγούς δεδομένων για μαζική επεξεργασία και επεξεργασία σε πραγματικό χρόνο.
- Χρησιμοποιήστε Kafka, Flink, Kinesis και Pub/Sub για ροές δεδομένων και ανταλλαγή μηνυμάτων.
- Συντονίστε ροές εργασίας με Airflow, Dataflow και Glue.
- Επεξεργαστείτε και μετασχηματίστε μεγάλα σύνολα δεδομένων με Spark και Flink.
- Εργαστείτε με σχεσιακές, NoSQL και αναλυτικές βάσεις δεδομένων, όπως Postgres, BigQuery, Snowflake, Cassandra και MongoDB.
- Βελτιώστε μορφότυπα αποθήκευσης και μοτίβα πρόσβασης με Parquet, Delta, ORC και Avro.
- Δημιουργήστε ασφαλείς λύσεις που συμμορφώνονται με τις απαιτήσεις, λαμβάνοντας υπόψη την ασφάλεια από την αρχή.
- Ενσωματώστε τη διακυβέρνηση δεδομένων χωρίς να επιβραδύνετε τις ροές εργασίας των προγραμματιστών.
- Συνεργαστείτε απευθείας με πελάτες για να κατανοήσετε τις προκλήσεις και να διαμορφώσετε λύσεις.
- Μετατρέψτε επιχειρηματικές απαιτήσεις σε πρακτικές μηχανικές επιλογές.
- Συμβουλεύετε πελάτες ως έμπιστος τεχνικός συνεργάτης.
- Ορίστε πρότυπα, μοτίβα και πρακτικές μηχανικής.
- Εξετάζετε σχεδιασμούς και κώδικα, παρέχοντας τεχνική καθοδήγηση και mentoring.
- Ενισχύστε την ποιότητα δεδομένων, τις δοκιμές, την παρατηρησιμότητα και τις επιχειρησιακές πρακτικές.
Απαιτήσεις
- Διαθέτετε ισχυρές δεξιότητες σε Python και SQL.
- Έχετε βαθιά εμπειρία με Spark και σύγχρονες πλατφόρμες δεδομένων όπως Databricks ή Snowflake.
- Κατανοείτε υπηρεσίες δεδομένων cloud σε AWS ή GCP.
- Έχετε αναλάβει την αρχιτεκτονική πλατφορμών δεδομένων μεγάλης κλίμακας.
- Εφαρμόζετε ισχυρές δεξιότητες μοντελοποίησης δεδομένων και λαμβάνετε τεκμηριωμένες αρχιτεκτονικές αποφάσεις.
- Ισορροπείτε απόδοση, κόστος και πολυπλοκότητα κατά την επιλογή λύσεων.
- Έχετε δημιουργήσει και λειτουργήσει αγωγούς δεδομένων παραγωγής μεγάλης κλίμακας.
- Έχετε εμπειρία με πολλαπλές τεχνολογίες αποθήκευσης και μορφότυπα δεδομένων.
- Χρησιμοποιείτε εργαλεία υποδομής ως κώδικα όπως Terraform ή Pulumi.
- Έχετε δημιουργήσει αγωγούς CI/CD με εργαλεία όπως GitHub Actions ή ArgoCD.
- Έχετε χρησιμοποιήσει πλαίσια δοκιμών και ποιότητας δεδομένων όπως dbt, Great Expectations ή Soda.
- Έχετε εμπειρία σε συμβουλευτικές υπηρεσίες ή επαγγελματικές υπηρεσίες.
- Μπορείτε να αμφισβητείτε παραδοχές και να κατευθύνετε τους πελάτες προς καλύτερα αποτελέσματα.
- Νιώθετε άνετα να καθοδηγείτε ανώτερους μηχανικούς και να διαμορφώνετε την τεχνική κουλτούρα.
Παροχές
- Εργαστείτε σε απαιτητικά προβλήματα με ουσιαστικό αντίκτυπο.
- Δημιουργήστε σύγχρονες πλατφόρμες αντί να συντηρείτε παλαιά συστήματα.
- Συνεργαστείτε με έμπειρους μηχανικούς.
- Έχετε αυτονομία και επιρροή στην εργασία σας.
- Έχετε ευκαιρίες επαγγελματικής εξέλιξης.