Itix er en brasiliansk teknologi- og konsulentvirksomhed, der hjælper organisationer med at modernisere deres drift gennem skræddersyede softwareplatforme, dedikerede udviklingsteams og teknologirådgivning. Virksomhedens tjenester omfatter også support samt analyse og business intelligence, hvilket gør det muligt for erhvervskunder at forbedre processer og anvende data mere effektivt. Itix arbejder med organisationer inden for blandt andet industri, finans, sundhed, logistik, forsikring, energi, kemi og minedrift, understøttet af distribuerede teams i hele Brasilien.
Dataingeniør på mellemniveau hos Itix (fjernarbejde, Brasilien)
Bliv dataingeniør hos Itix, og byg Lakehouse-pipelines og RAG-løsninger. Arbejd med Databricks, Delta Lake, embeddings, datakvalitet og governance.
Beskrivelse
- Byg ETL/ELT-pipelines i Databricks eller open source-frameworks inden for en Delta Lake-medaljonarkitektur
- Behandl og standardisér PDF- og billeddata med tilhørende metadata
- Kurater og anonymisér data i henhold til Brasiliens LGPD til RAG, few-shot-læring og testdatasæt
- Udvikl og vedligehold vektorindekser med chunking, embeddings, trinvise opdateringer og versionsstyring
- Opret versionsstyrede gyldne datasæt til måling af nøjagtighed og benchmarking
- Design persistens til feedbackloops, og lever data til kvalitets- og SLA-dashboardet
- Forbind databaser med inferenstjenester og eksterne API'er, mens du håndterer ydeevne, omkostninger, monitorering og alarmer
- Automatisér workflows gennem Jobs, CI/CD-pipelines og test af datakvalitet
Krav
- Avancerede færdigheder i Python og SQL
- Erfaring med datamodellering og medaljon- eller Lakehouse-arkitekturer
- Erfaring med at bygge pipelines til ustrukturerede data fra PDF'er, billeder og tekst, herunder forberedelse til RAG
- Kendskab til vektordatabaser og embeddings såsom Databricks Vector Search eller pgvector
- Erfaring med datakvalitet, test og versionsstyring
- Praktisk erfaring med Databricks, Delta Lake, Workflows eller Jobs, notebooks, PySpark og Spark SQL
- Erfaring med Git og CI/CD
- Erfaring med at arbejde i Azure, AWS eller GCP
- Kendskab til LGPD og håndtering af følsomme data
- Erfaring med Unity Catalog i et governance-miljø
- Erfaring med MLflow, Databricks Model Serving eller Mosaic AI
- Erfaring med Delta Live Tables eller Lakeflow og Auto Loader
- Erfaring fra forsikrings- eller finanssektoren
- Erfaring med Terraform eller Databricks Asset Bundles
- Databricks Data Engineer Associate- eller Professional-certificering
Fordele
- Geografisk fleksibilitet til at arbejde fra den placering, der passer bedst til projektet
- Rabataftaler
- Belønnet medarbejderhenvisningsprogram
- Fri på fødselsdagen
- Adgang til TotalPass eller Gympass
- Sundheds- og trivselsinitiativer
- Adgang til kontorets afslapningsområder med sækkestole, poolbord, videospil, lounge, fuldt udstyret køkken og kaffe