Itix je brazilska tehnološka i konzultantska tvrtka koja organizacijama pomaže modernizirati poslovanje putem prilagođenih softverskih platformi, namjenskih razvojnih timova i tehnološkog savjetovanja. Njezine usluge uključuju i podršku, analitiku te poslovnu inteligenciju, što poslovnim korisnicima omogućuje unapređenje procesa i učinkovitije korištenje podataka. Itix surađuje s organizacijama iz područja industrije, financija, zdravstva, logistike, osiguranja, energetike, kemijske industrije i rudarstva, uz podršku distribuiranih timova diljem Brazila.
Data Engineer srednje razine u tvrtki Itix (rad na daljinu, Brazil)
Pridružite se tvrtki Itix kao Data Engineer i gradite Lakehouse pipelineove i RAG rješenja. Radit ćete s alatima Databricks i Delta Lake te na embeddingu, kvaliteti podataka i upravljanju podacima.
Opis
- Izgradite ETL/ELT pipelineove u Databricksu ili open-source frameworkovima unutar medallion arhitekture Delta Lakea
- Obrađujte i standardizirajte podatke iz PDF-ova i slika s pripadajućim metapodacima
- Odabirite i anonimizirajte podatke u skladu s brazilskim zakonom LGPD za RAG, few-shot učenje i testne skupove podataka
- Razvijajte i održavajte vektorske indekse s usitnjavanjem, embeddingom, inkrementalnim ažuriranjima i upravljanjem verzijama
- Izradite verzionirane zlatne skupove podataka za mjerenje točnosti i benchmarking
- Dizajnirajte pohranu povratne sprege i isporučujte podatke u nadzornu ploču kvalitete i SLA-a
- Povežite baze podataka s inferencijskim servisima i vanjskim API-jima te upravljajte performansama, troškovima, nadzorom i upozorenjima
- Automatizirajte tijekove rada pomoću Jobsa, CI/CD pipelineova i testiranja kvalitete podataka
Zahtjevi
- Napredno poznavanje Pythona i SQL-a
- Iskustvo s modeliranjem podataka i medallion ili Lakehouse arhitekturama
- Iskustvo u izgradnji pipelineova za nestrukturirane podatke iz PDF-ova, slika i teksta, uključujući pripremu za RAG
- Poznavanje vektorskih baza podataka i embeddinga, kao što su Databricks Vector Search ili pgvector
- Iskustvo s kvalitetom podataka, testiranjem i upravljanjem verzijama
- Praktično iskustvo s Databricksom, Delta Lakeom, Workflowsima ili Jobsima, bilježnicama, PySparkom i Spark SQL-om
- Iskustvo s Gitom i CI/CD-om
- Iskustvo rada u Azureu, AWS-u ili GCP-u
- Poznavanje zakona LGPD i rukovanja osjetljivim podacima
- Iskustvo s Unity Catalogom u upravljanom okruženju
- Iskustvo s alatima MLflow, Databricks Model Serving ili Mosaic AI
- Iskustvo s alatima Delta Live Tables ili Lakeflow i Auto Loader
- Iskustvo u osiguranju ili financijskim uslugama
- Iskustvo s Terraformom ili Databricks Asset Bundles
- Certifikat Databricks Data Engineer Associate ili Professional
Pogodnosti
- Geografska fleksibilnost za rad s lokacije koja najbolje odgovara projektu
- Partnerski popusti
- Nagrađivani program preporuka zaposlenika
- Slobodan dan za rođendan
- Pristup usluzi TotalPass ili Gympass
- Inicijative za zdravlje i dobrobit
- Pristup uredskim prostorima za opuštanje s vrećama za sjedenje, stolom za biljar, videoigrama, prostorom za odmor, potpuno opremljenom kuhinjom i kavom