Η Coretek είναι εξειδικευμένος πάροχος διαχειριζόμενων υπηρεσιών Microsoft Azure και εταιρεία συμβούλων τεχνολογιών cloud, που εξυπηρετεί οργανισμούς στους τομείς της δημόσιας διοίκησης, της υγειονομικής περίθαλψης, της μεταποίησης και των χρηματοοικονομικών υπηρεσιών. Το έργο της περιλαμβάνει μετεγκατάσταση στο cloud, εκσυγχρονισμό εφαρμογών, αυτοματοποίηση DevOps, διαχείριση χώρων εργασίας, κυβερνοασφάλεια και λύσεις τεχνητής νοημοσύνης που αναπτύσσονται με Azure OpenAI και τεχνολογίες μηχανικής μάθησης. Η Coretek παρέχει επίσης υπηρεσίες ασφάλειας και παρατηρησιμότητας με πλατφόρμες όπως οι Palo Alto και Dynatrace, καθώς και μέσω συνεργασιών που περιλαμβάνουν τις Imprivata και Citrix. Η διεπιστημονική ομάδα της εταιρείας βοηθά τους πελάτες να εκσυγχρονίσουν τις υποδομές τους, να ενισχύσουν την ασφάλεια και να αναπτύξουν πρακτικές δυνατότητες στο cloud και την τεχνητή νοημοσύνη.
Μηχανικός Δεδομένων Azure — Υβριδική εργασία στην Ινδία
Σχεδιάστε και λειτουργήστε αξιόπιστους αγωγούς δεδομένων δέσμης και ροής στο Azure για την Coretek. Αναπτύξτε ελεγχόμενα μοντέλα δεδομένων, δικλίδες ποιότητας και ροές παραγωγής που υποστηρίζουν επιχειρησιακές και τεχνικές ομάδες.
Περιγραφή
- Σχεδιάστε, υλοποιήστε και συντηρήστε αγωγούς δεδομένων δέσμης και ροής που είναι ειδώλια, παρατηρήσιμοι και ανακτήσιμοι
- Δημιουργήστε αναλυτικά μοντέλα δεδομένων, συμπεριλαμβανομένων διαστατικών σχημάτων, σημασιολογικών επιπέδων και επιμελημένων marts
- Συνδέστε λειτουργικές βάσεις δεδομένων, API SaaS, αρχεία και ροές συμβάντων, διαχειριζόμενοι την απόκλιση σχημάτων και τα καθυστερημένα δεδομένα
- Ενσωματώστε στους αγωγούς ελέγχους για την επικαιρότητα, τον όγκο, τη μοναδικότητα και την αναφορική ακεραιότητα των δεδομένων
- Καθιερώστε διαδικασίες ειδοποίησης και κλιμάκωσης για αστοχίες αγωγών
- Διαχειριστείτε αγωγούς παραγωγής μέσω παρακολούθησης, αντιμετώπισης περιστατικών σε εφημερία, ανάλυσης βασικής αιτίας και backfill
- Βελτιώστε την απόδοση και ελέγξτε το κόστος μέσω διαμερισματοποίησης, ομαδοποίησης, μεγέθους αρχείων και κατάλληλης διαστασιολόγησης αποθήκης ή συστάδας
- Χρησιμοποιήστε έλεγχο εκδόσεων, αναθεωρήσεις κώδικα, CI/CD, αυτοματοποιημένες δοκιμές και υποδομή ως κώδικα
- Επιβάλετε ελέγχους πρόσβασης, προστασία PII, πολιτικές διατήρησης, καταγωγή δεδομένων και απαιτήσεις ελέγχου σε συνεργασία με τις ομάδες ασφάλειας και συμμόρφωσης
- Συνεργαστείτε με αναλυτές, επιστήμονες δεδομένων και μηχανικούς προϊόντος για τη θέσπιση ανθεκτικών συμβάσεων δεδομένων
- Διατηρείτε ενημερωμένα τα λεξικά δεδομένων, τα αρχεία καταγωγής και τα εγχειρίδια λειτουργίας των αγωγών
Απαιτήσεις
- Τουλάχιστον πέντε χρόνια εμπειρίας στην ανάπτυξη αγωγών δεδομένων παραγωγής
- Ισχυρή πρακτική εμπειρία στην Python για μηχανική δεδομένων, συμπεριλαμβανομένων δοκιμών, πακεταρίσματος και αναθεώρησης κώδικα
- Πρακτική γνώση των API PySpark DataFrame και SQL, συνδέσεων και συναθροίσεων μεγάλης κλίμακας, διαμερισματοποίησης, συμπεριφοράς shuffle και διάγνωσης μέσω του Spark UI
- Προχωρημένες δεξιότητες SQL, συμπεριλαμβανομένων συναρτήσεων παραθύρου, ανάλυσης πλάνων ερωτημάτων και ρύθμισης απόδοσης
- Πρακτική εμπειρία με Azure Data Factory, Databricks, Synapse ή Fabric και ADLS
- Στέρεη γνώση μοντελοποίησης δεδομένων που καλύπτει κανονικοποίηση, star schemas και slowly changing dimensions
- Εμπειρία σε ροές ανάπτυξης με βάση το Git και παράδοση μέσω CI/CD
- Εξαιρετικές δεξιότητες επικοινωνίας, συμπεριλαμβανομένης της ικανότητας εξήγησης προβλημάτων αγωγών σε μη τεχνικούς ενδιαφερόμενους
- Εξαιρετική αναλυτική ικανότητα και ικανότητα επίλυσης προβλημάτων, συμπεριλαμβανομένης της ανάλυσης βασικής αιτίας
- Ισχυρή εμπειρία συνεργασίας με πελάτες σε συμβουλευτικό τεχνικό περιβάλλον
- Εμπειρία σε δεδομένα ροής με Kafka ή Event Hubs
- Εμπειρία χρήσης Delta Lake ή Iceberg
- Εμπειρία με Terraform ή Bicep για υποδομή ως κώδικα και Docker ή Kubernetes για δημιουργία container
- Εμπειρία εργασίας σε ρυθμιζόμενα περιβάλλοντα που περιλαμβάνουν HIPAA, SOC 2, PCI ή GDPR
- Εμπειρία στην ανάπτυξη πλατφορμών δεδομένων μηχανικής μάθησης ή στην υποστήριξη αγωγών χαρακτηριστικών
- Ικανότητα διαχείρισης πολλαπλών έργων πελατών και έγκαιρης παράδοσης ποιοτικής εργασίας
- Εμπειρία χρήσης Azure DevOps ή GitHub για έλεγχο πηγαίου κώδικα και αγωγούς παράδοσης