
GFT Technologies er et teknologi- og digitaliseringsselskap som arbeider med rådgivning, forsikring og cybersikkerhet. Cookiebot-plattformen hjelper organisasjoner med å samle inn og administrere brukersamtykke, samtidig som den støtter etterlevelse av personvernregelverk, inkludert GDPR og CCPA. Selskapets løsninger er utviklet for å integreres med eksisterende digitale miljøer og brukes av mer enn 600 000 kunder over hele verden til å håndtere personopplysninger med større åpenhet og kontroll.
Dataingeniør på mellom-/seniornivå innen Azure Databricks – fjernarbeid i Colombia
Utform og optimaliser datapipelines og skyarkitekturer i Azure og Databricks hos GFT Technologies. Klargjør pålitelige data for analyse, kunstig intelligens og maskinlæring.
Beskrivelse
- Utforme, bygge og optimalisere dataarkitekturer basert på Azure og Databricks
- Implementere ETL- og ELT-prosesser for å integrere flere informasjonskilder
- Utforme og administrere Data Lake- og Lakehouse-arkitekturer
- Overvåke datapipelines for å sikre konsistens, kvalitet, sporbarhet og sikkerhet
- Forberede og optimalisere datasett for avansert analyse, rapportering og maskinlæringsmodeller
- Samarbeide med BI-, analyse- og datavitenskapsteam for å forbedre tilgangen til informasjon
- Definere og implementere datastyring og kvalitetskontroller
- Implementere prosesser for kontinuerlig integrasjon og kontinuerlig levering av dataløsninger
- Utforme skalerbare løsninger for distribuert behandling og store datamengder
- Identifisere forbedringer som optimaliserer kostnader, ytelse og behandlingstider
- Evaluere ny teknologi og beste praksis for å videreutvikle dataplattformen
Krav
- Utdanning innen systemteknikk, industriteknikk, elektronikk, mekatronikk eller et beslektet fagområde
- Tre til fem års erfaring som dataingeniør
- Avanserte SQL-kunnskaper
- Erfaring med Python eller Scala
- Erfaring med distribuert behandling ved hjelp av PySpark
- Erfaring med Azure Databricks
- Erfaring med Azure Data Factory
- Erfaring med Azure Data Lake Storage Gen2 (ADLS Gen2)
- Kunnskap om Delta Lake
- Erfaring med Lakehouse-arkitekturer
- Kunnskap om Medallion-arkitekturen
- Erfaring med dimensjonsmodellering
- Erfaring med relasjonsdatabaser
- Erfaring med NoSQL-databaser
- Kunnskap om datastyring og datakvalitet
- Erfaring med Unity Catalog
- Erfaring med Delta Live Tables (DLT)
- Kunnskap om Great Expectations
- Erfaring med strømmende behandling via Event Hubs
- Erfaring med Azure DevOps og Git
- Kunnskap om Entra ID
- Kunnskap om RBAC
- Gode kunnskaper i Power BI
- Gode kunnskaper i Visual Studio Code
- Erfaring med dataintegrasjon og ETL-/ELT-prosesser
- Erfaring med dataanalyse og modellering
- Azure-sertifiseringer innen data engineering er en fordel
- Erfaring med prosjekter innen kunstig intelligens og maskinlæring er en fordel
- Kunnskap om DataOps og automatisering av dataplattformer er en fordel
Fordeler
- Fleksibel arbeidstid
- Fjernarbeid
- Personlig karriereutviklingsplan
- Opplæringsprogrammer
- Arbeid i tverrfaglige team
- Mangfoldig globalt team
- Prosjekter med stor innvirkning for ledende kunder i ulike bransjer