GFT Technologies är ett teknik- och digitaliseringsföretag som arbetar med rådgivning, försäkring och cybersäkerhet. Plattformen Cookiebot hjälper organisationer att samla in och hantera användarsamtycke samtidigt som den stöder efterlevnaden av integritetslagstiftning, inklusive GDPR och CCPA. Företagets lösningar är utformade för att integreras med befintliga digitala miljöer och används av mer än 600 000 kunder världen över för att hantera personuppgifter med större transparens och kontroll.
Dataingenjör på mellan-/seniornivå inom Azure Databricks – distansarbete i Colombia
Utforma och optimera datapipelines och molnarkitekturer i Azure och Databricks hos GFT Technologies. Förbered tillförlitliga data för analys, artificiell intelligens och maskininlärning.
Beskrivning
- Utforma, bygga och optimera datarkitekturer baserade på Azure och Databricks
- Implementera ETL- och ELT-processer för att integrera flera informationskällor
- Utforma och hantera Data Lake- och Lakehouse-arkitekturer
- Övervaka datapipelines för att säkerställa konsekvens, kvalitet, spårbarhet och säkerhet
- Förbereda och optimera dataset för avancerad analys, rapportering och maskininlärningsmodeller
- Samarbeta med BI-, analys- och datavetenskapsteam för att förbättra tillgången till information
- Definiera och implementera datastyrning och kvalitetskontroller
- Implementera processer för kontinuerlig integration och kontinuerlig leverans av datalösningar
- Utforma skalbara lösningar för distribuerad bearbetning och stora datamängder
- Identifiera förbättringar som optimerar kostnader, prestanda och bearbetningstider
- Utvärdera ny teknik och bästa praxis för att vidareutveckla datapplattformen
Krav
- Examen i systemvetenskap, industriell ekonomi, elektronik, mekatronik eller ett närliggande område
- Tre till fem års erfarenhet som dataingenjör
- Avancerade kunskaper i SQL
- Erfarenhet av Python eller Scala
- Erfarenhet av distribuerad bearbetning med PySpark
- Erfarenhet av Azure Databricks
- Erfarenhet av Azure Data Factory
- Erfarenhet av Azure Data Lake Storage Gen2 (ADLS Gen2)
- Kunskaper i Delta Lake
- Erfarenhet av Lakehouse-arkitekturer
- Kunskaper i Medallion-arkitekturen
- Erfarenhet av dimensionell modellering
- Erfarenhet av relationsdatabaser
- Erfarenhet av NoSQL-databaser
- Kunskaper om datastyrning och datakvalitet
- Erfarenhet av Unity Catalog
- Erfarenhet av Delta Live Tables (DLT)
- Kunskaper i Great Expectations
- Erfarenhet av strömningsbearbetning via Event Hubs
- Erfarenhet av Azure DevOps och Git
- Kunskaper i Entra ID
- Kunskaper i RBAC
- Goda kunskaper i Power BI
- Goda kunskaper i Visual Studio Code
- Erfarenhet av dataintegration och ETL-/ELT-processer
- Erfarenhet av dataanalys och modellering
- Azure-certifieringar inom data engineering är meriterande
- Erfarenhet av projekt inom artificiell intelligens och maskininlärning är meriterande
- Kunskaper i DataOps och automatisering av dataplattformar är meriterande
Förmåner
- Flexibla arbetstider
- Distansarbete
- Individuell karriärutvecklingsplan
- Utbildningsprogram
- Arbete i tvärdisciplinära team
- Mångsidigt globalt team
- Projekt med stor påverkan för ledande kunder inom olika branscher