Itix är ett brasilianskt teknik- och konsultföretag som hjälper organisationer att modernisera sin verksamhet genom skräddarsydda mjukvaruplattformar, dedikerade utvecklingsteam och teknikkonsulttjänster. Företagets tjänster omfattar även support samt analys och business intelligence, vilket hjälper företagskunder att förbättra sina processer och använda data mer effektivt. Itix arbetar med organisationer inom bland annat industri, finans, sjukvård, logistik, försäkring, energi, kemi och gruvdrift, med stöd av distribuerade team över hela Brasilien.
Dataingenjör på mellannivå hos Itix (distans, Brasilien)
Bli dataingenjör hos Itix och bygg Lakehouse-pipelines och RAG-lösningar. Arbeta med Databricks, Delta Lake, embeddings, datakvalitet och styrning.
Beskrivning
- Bygg ETL/ELT-pipelines i Databricks eller ramverk med öppen källkod inom en Delta Lake-medaljongarkitektur
- Bearbeta och standardisera PDF- och bilddata med tillhörande metadata
- Kurera och anonymisera data enligt Brasiliens LGPD för RAG, few-shot-inlärning och testdataset
- Utveckla och underhåll vektorindex med chunkning, embeddings, inkrementella uppdateringar och versionshantering
- Skapa versionshanterade gyllene dataset för noggrannhetsmätning och benchmarking
- Utforma lagring för återkopplingsloopar och leverera data till kvalitets- och SLA-panelen
- Anslut databaser till inferenstjänster och externa API:er samtidigt som prestanda, kostnad, övervakning och aviseringar hanteras
- Automatisera arbetsflöden genom Jobs, CI/CD-pipelines och tester av datakvalitet
Krav
- Avancerade kunskaper i Python och SQL
- Erfarenhet av datamodellering och medaljong- eller Lakehouse-arkitekturer
- Erfarenhet av att bygga pipelines för ostrukturerad data från PDF:er, bilder och text, inklusive förberedelser för RAG
- Bekantskap med vektordatabaser och embeddings, exempelvis Databricks Vector Search eller pgvector
- Erfarenhet av datakvalitet, testning och versionshantering
- Praktisk erfarenhet av Databricks med Delta Lake, Workflows eller Jobs, notebooks, PySpark och Spark SQL
- Erfarenhet av Git och CI/CD
- Erfarenhet av arbete i Azure, AWS eller GCP
- Kunskap om LGPD och hantering av känsliga data
- Erfarenhet av Unity Catalog i en styrd miljö
- Erfarenhet av MLflow, Databricks Model Serving eller Mosaic AI
- Erfarenhet av Delta Live Tables eller Lakeflow och Auto Loader
- Erfarenhet från försäkrings- eller finanstjänster
- Erfarenhet av Terraform eller Databricks Asset Bundles
- Databricks Data Engineer Associate- eller Professional-certifiering
Förmåner
- Geografisk flexibilitet att arbeta från den plats som passar projektet bäst
- Rabattavtal
- Belönat medarbetarrekommendationsprogram
- Ledigt på födelsedagen
- Tillgång till TotalPass eller Gympass
- Hälso- och välmåendesatsningar
- Tillgång till kontorets avkopplingsutrymmen med sittsäckar, biljardbord, videospel, lounge, fullt utrustat kök och kaffe