GFT Technologies tehnološka je tvrtka usmjerena na digitalnu transformaciju koja posluje u područjima savjetovanja, osiguranja i kibernetičke sigurnosti. Njezina platforma Cookiebot pomaže organizacijama prikupljati i upravljati privolama korisnika te podržava usklađenost s propisima o privatnosti, uključujući GDPR i CCPA. Rješenja tvrtke osmišljena su za integraciju u postojeća digitalna okruženja, a koristi ih više od 600.000 korisnika diljem svijeta za transparentnije i kontroliranije upravljanje osobnim podacima.
Mid/senior podatkovni inženjer za Azure Databricks – rad na daljinu iz Kolumbije
Dizajnirajte i optimizirajte podatkovne cjevovode i oblačne arhitekture na platformama Azure i Databricks u tvrtki GFT Technologies. Pripremajte pouzdane podatke za analitiku, umjetnu inteligenciju i strojno učenje.
Opis
- Dizajnirajte, izrađujte i optimizirajte podatkovne arhitekture temeljene na platformama Azure i Databricks
- Implementirajte ETL i ELT procese za integraciju više izvora informacija
- Dizajnirajte i upravljajte arhitekturama Data Lake i Lakehouse
- Nadzirite podatkovne cjevovode kako biste osigurali dosljednost, kvalitetu, sljedivost i sigurnost
- Pripremajte i optimizirajte skupove podataka za naprednu analitiku, izvještavanje i modele strojnog učenja
- Surađujte s timovima za BI, analitiku i podatkovnu znanost radi poboljšanja pristupa informacijama
- Definirajte i implementirajte upravljanje podacima i kontrole kvalitete
- Implementirajte procese kontinuirane integracije i kontinuirane isporuke za podatkovna rješenja
- Dizajnirajte skalabilna rješenja za distribuiranu obradu i velike količine podataka
- Identificirajte poboljšanja koja optimiziraju troškove, performanse i vrijeme obrade
- Procjenjujte nove tehnologije i najbolje prakse za unapređenje podatkovne platforme
Zahtjevi
- Diploma iz sistemskog inženjerstva, industrijskog inženjerstva, elektroničkog inženjerstva, mehatronike ili srodnog područja
- Tri do pet godina iskustva na poziciji podatkovnog inženjera
- Napredno znanje SQL-a
- Iskustvo s Pythonom ili Scal om
- Iskustvo s distribuiranom obradom podataka uz PySpark
- Iskustvo s Azure Databricksom
- Iskustvo s Azure Data Factoryjem
- Iskustvo s Azure Data Lake Storage Gen2 (ADLS Gen2)
- Poznavanje Delta Lakea
- Iskustvo s Lakehouse arhitekturama
- Poznavanje medallion arhitekture
- Iskustvo s dimenzionalnim modeliranjem
- Iskustvo s relacijskim bazama podataka
- Iskustvo s NoSQL bazama podataka
- Poznavanje upravljanja podacima i kvalitete podataka
- Iskustvo s Unity Catalogom
- Iskustvo s Delta Live Tables (DLT)
- Poznavanje alata Great Expectations
- Iskustvo sa streaming obradom putem Event Hubsa
- Iskustvo s Azure DevOpsom i Gitom
- Poznavanje Entra ID-a
- Poznavanje RBAC-a
- Napredno znanje Power BI-ja
- Napredno znanje Visual Studio Codea
- Iskustvo s integracijom podataka i ETL/ELT procesima
- Iskustvo u analizi i modeliranju podataka
- Certifikati za Azure Data Engineering predstavljaju prednost
- Iskustvo na projektima umjetne inteligencije i strojnog učenja predstavlja prednost
- Poznavanje DataOpsa i automatizacije podatkovnih platformi predstavlja prednost
Pogodnosti
- Fleksibilno radno vrijeme
- Rad na daljinu
- Individualizirani plan razvoja karijere
- Programi osposobljavanja
- Rad u multidisciplinarnim timovima
- Raznolik globalni tim
- Projekti velikog utjecaja s vodećim klijentima iz industrije