Itix er et brasiliansk teknologi- og konsulentselskap som hjelper organisasjoner med å modernisere driften gjennom skreddersydde programvareplattformer, dedikerte utviklingsteam og teknologirådgivning. Tjenestene omfatter også brukerstøtte samt analyse og business intelligence, slik at bedriftskunder kan forbedre prosesser og utnytte data mer effektivt. Itix samarbeider med organisasjoner innen blant annet industri, finans, helse, logistikk, forsikring, energi, kjemi og gruvedrift, med støtte fra distribuerte team over hele Brasil.
Dataingeniør på mellomnivå hos Itix (fjernarbeid, Brasil)
Bli dataingeniør hos Itix og bygg Lakehouse-pipelines og RAG-løsninger. Arbeid med Databricks, Delta Lake, embeddings, datakvalitet og styring.
Beskrivelse
- Bygg ETL/ELT-pipelines i Databricks eller rammeverk med åpen kildekode innenfor en Delta Lake-medaljongarkitektur
- Behandle og standardiser PDF- og bildedata med tilhørende metadata
- Kurater og anonymiser data i henhold til Brasils LGPD for RAG, few-shot-læring og testdatasett
- Utvikle og vedlikehold vektorindekser med chunking, embeddings, trinnvise oppdateringer og versjonskontroll
- Opprett versjonerte gyldne datasett for måling av nøyaktighet og benchmarking
- Utform lagring for tilbakemeldingssløyfer og lever data til kvalitets- og SLA-dashbordet
- Koble databaser til inferenstjenester og eksterne API-er, samtidig som ytelse, kostnader, overvåking og varsler håndteres
- Automatiser arbeidsflyter gjennom Jobs, CI/CD-pipelines og testing av datakvalitet
Krav
- Avanserte ferdigheter i Python og SQL
- Erfaring med datamodellering og medaljong- eller Lakehouse-arkitekturer
- Erfaring med å bygge pipelines for ustrukturerte data fra PDF-er, bilder og tekst, inkludert forberedelse for RAG
- Kjennskap til vektordatabaser og embeddings som Databricks Vector Search eller pgvector
- Erfaring med datakvalitet, testing og versjonskontroll
- Praktisk erfaring med Databricks, Delta Lake, Workflows eller Jobs, notebooks, PySpark og Spark SQL
- Erfaring med Git og CI/CD
- Erfaring med å arbeide i Azure, AWS eller GCP
- Kunnskap om LGPD og håndtering av sensitive data
- Erfaring med Unity Catalog i et styrt miljø
- Erfaring med MLflow, Databricks Model Serving eller Mosaic AI
- Erfaring med Delta Live Tables eller Lakeflow og Auto Loader
- Erfaring fra forsikring eller finansielle tjenester
- Erfaring med Terraform eller Databricks Asset Bundles
- Databricks Data Engineer Associate- eller Professional-sertifisering
Fordeler
- Geografisk fleksibilitet til å arbeide fra stedet som passer best for prosjektet
- Rabattavtaler
- Belønnet medarbeiderhenvisningsprogram
- Fri på fødselsdagen
- Tilgang til TotalPass eller Gympass
- Helse- og velværeinitiativer
- Tilgang til kontorets avslapningsområder med sakkosekker, biljardbord, videospill, lounge, fullt utstyrt kjøkken og kaffe