Instituto de Pesquisas Eldorado er et brasiliansk forsknings- og udviklingsinstitut, der blev grundlagt i 1999. Instituttet hjælper organisationer med at omsætte teknologiske initiativer til testede produkter og praktisk innovation. Arbejdet omfatter certificering af telekommunikationsprodukter, laboratorietest og innovationsrådgivning inden for sektorer som bilindustrien, sundhedsvæsenet, logistik, landbrug, energi samt olie og gas. Instituttet udvikler også uddannelses- og træningsprogrammer og samarbejder med industri- og forskningspartnere for at udvide de teknologiske kompetencer.
Dataanalytiker – PySpark, SQL og Power BI
Byg datapipelines, datamodeller og dashboards til Instituto de Pesquisas Eldorados brasilianske forsknings- og udviklingscenter. Arbejd med PySpark, SQL, Databricks og Power BI.
Beskrivelse
- Opret og implementer indlæsningspipelines ved hjælp af REST-API'er, webskrabning, ældre SQL-procedurer og filer
- Hjælp med at implementere skrivebeskyttet replikering for systemer uden direkte databaseadgang, og tag højde for påvirkningen af ydeevnen
- Transformér data med PySpark og SQL
- Bidrag til målinger af behandlingsomkostninger og ydeevne samt effektiv dimensionering af ressourcer
- Hjælp med at opbygge datalagene Bronze, Silver og Gold ved hjælp af medallion-arkitekturen
- Byg robuste skrabningspipelines med registrering af layoutændringer og afværgelse af blokering
- Fjern dubletter, normalisér data, og test datakvaliteten
- Hjælp med at implementere datakontrakter og alarmer om skemaændringer for tredjepartsintegrationer
- Opret dashboards og rapporter i Power BI
- Omsæt forretningsbehov til datamodeller og tydelige visualiseringer
- Anvend Row-Level Security i rapporter i overensstemmelse med RBAC-politikker
- Opret datakvalitetstests og deklarative transformationer med dbt
- Hjælp med at konfigurere selvbetjeningsfunktioner til analyse, herunder Fabric Copilot
- Samarbejd med datastyringsteams om at vedligeholde dataoprindelse og klassificering
- Find og løs problemer med ydeevnen i pipelines og forespørgsler
- Gennemfør brugergodkendelsestests, og forbedr dashboards på baggrund af feedback
Krav
- Bachelorgrad i datalogi, computerteknik, systemanalyse eller et beslægtet fagområde
- Erfaring på mellemniveau med data engineering, Python eller PySpark og SQL
- Kendskab til Databricks eller Spark
- Kendskab til orkestreringsværktøjer som Azure Data Factory
- Kendskab til analytiske dataformater som Parquet og Delta Lake
- Kendskab til dbt er en fordel
- Kendskab til Git og CI/CD til datapipelines
- Erfaring med dataintegration via REST-API'er
- Kendskab til datavisualisering og dataformidling
- Erfaring med forskellige datakilder, herunder SQL, API'er, filer, Lakehouse og Warehouse
- Erfaring med implementering af Row-Level Security
- Villighed til at rejse til São Paulo er en fordel
- Avancerede engelskkundskaber er en fordel
Fordele
- Lige muligheder for alle kandidater
- En mangfoldig og inkluderende arbejdsplads
- Åben for kandidater med handicap
- Hybrid arbejdsform
- Mulighed for at opbygge erfaring og bidrage til relevante projekter
- Adgang til organisationens laboratorieinfrastruktur og forsknings- og udviklingsprojekter