Η Itix είναι μια βραζιλιάνικη εταιρεία τεχνολογίας και συμβούλων που βοηθά οργανισμούς να εκσυγχρονίσουν τις λειτουργίες τους μέσω προσαρμοσμένων πλατφορμών λογισμικού, εξειδικευμένων ομάδων ανάπτυξης και τεχνολογικών συμβουλευτικών υπηρεσιών. Οι υπηρεσίες της περιλαμβάνουν επίσης υποστήριξη και αναλύσεις ή επιχειρηματική ευφυΐα, βοηθώντας τους εταιρικούς πελάτες να βελτιώνουν τις διαδικασίες τους και να αξιοποιούν πιο αποτελεσματικά τα δεδομένα. Η Itix συνεργάζεται με οργανισμούς σε κλάδους όπως η βιομηχανία, τα χρηματοοικονομικά, η υγεία, τα logistics, οι ασφαλίσεις, η ενέργεια, η χημική βιομηχανία και η εξόρυξη, με την υποστήριξη κατανεμημένων ομάδων σε ολόκληρη τη Βραζιλία.
Μηχανικός Δεδομένων Μεσαίου Επιπέδου στην Itix (Εξ αποστάσεως, Βραζιλία)
Ενταχθείτε στην Itix ως Μηχανικός Δεδομένων, δημιουργώντας pipelines Lakehouse και λύσεις RAG. Θα εργαστείτε με Databricks, Delta Lake, embeddings, ποιότητα δεδομένων και διακυβέρνηση.
Περιγραφή
- Δημιουργία pipelines ETL/ELT στο Databricks ή σε πλαίσια ανοικτού κώδικα, στο πλαίσιο αρχιτεκτονικής medallion του Delta Lake
- Επεξεργασία και τυποποίηση δεδομένων PDF και εικόνων με τα σχετικά μεταδεδομένα
- Επιμέλεια και ανωνυμοποίηση δεδομένων σύμφωνα με το LGPD της Βραζιλίας για RAG, few-shot learning και σύνολα δεδομένων δοκιμών
- Ανάπτυξη και συντήρηση διανυσματικών ευρετηρίων με τεμαχισμό, embeddings, σταδιακές ενημερώσεις και έλεγχο εκδόσεων
- Δημιουργία εκδόσεων golden datasets για μέτρηση ακρίβειας και benchmarking
- Σχεδιασμός αποθήκευσης βρόχων ανάδρασης και παροχή δεδομένων στον Πίνακα Ελέγχου Ποιότητας και SLA
- Σύνδεση βάσεων δεδομένων με υπηρεσίες inference και εξωτερικά API, με διαχείριση απόδοσης, κόστους, παρακολούθησης και ειδοποιήσεων
- Αυτοματοποίηση ροών εργασίας μέσω Jobs, pipelines CI/CD και δοκιμών ποιότητας δεδομένων
Απαιτήσεις
- Προχωρημένη γνώση Python και SQL
- Εμπειρία στη μοντελοποίηση δεδομένων και σε αρχιτεκτονικές medallion ή Lakehouse
- Εμπειρία στη δημιουργία pipelines μη δομημένων δεδομένων για PDF, εικόνες και κείμενο, συμπεριλαμβανομένης της προετοιμασίας για RAG
- Εξοικείωση με διανυσματικές βάσεις δεδομένων και embeddings, όπως Databricks Vector Search ή pgvector
- Εμπειρία στην ποιότητα δεδομένων, τις δοκιμές και τον έλεγχο εκδόσεων
- Πρακτική εμπειρία στο Databricks με Delta Lake, Workflows ή Jobs, notebooks, PySpark και Spark SQL
- Εμπειρία με Git και CI/CD
- Εμπειρία εργασίας σε Azure, AWS ή GCP
- Γνώση του LGPD και του χειρισμού ευαίσθητων δεδομένων
- Εμπειρία με Unity Catalog σε περιβάλλον με διακυβέρνηση
- Εμπειρία με MLflow, Databricks Model Serving ή Mosaic AI
- Εμπειρία με Delta Live Tables ή Lakeflow και Auto Loader
- Εμπειρία στον ασφαλιστικό ή χρηματοοικονομικό κλάδο
- Εμπειρία με Terraform ή Databricks Asset Bundles
- Πιστοποίηση Databricks Data Engineer Associate ή Professional
Παροχές
- Γεωγραφική ευελιξία για εργασία από την τοποθεσία που ταιριάζει καλύτερα στο έργο
- Συνεργασίες για εκπτώσεις
- Πρόγραμμα παραπομπών εργαζομένων με ανταμοιβές
- Ρεπό την ημέρα των γενεθλίων
- Πρόσβαση σε TotalPass ή Gympass
- Πρωτοβουλίες υγείας και ευεξίας
- Πρόσβαση σε χώρους χαλάρωσης στο γραφείο με πουφ, τραπέζι μπιλιάρδου, βιντεοπαιχνίδια, lounge, πλήρως εξοπλισμένη κουζίνα και καφέ