Instituto de Pesquisas Eldorado brazilski je istraživački i razvojni institut osnovan 1999. godine koji organizacijama pomaže pretvoriti tehnološke inicijative u testirane proizvode i praktične inovacije. Njegov rad obuhvaća certificiranje telekomunikacijskih proizvoda, laboratorijska ispitivanja i savjetovanje o inovacijama za sektore poput automobilske industrije, zdravstva, logistike, poljoprivrede, energetike te nafte i plina. Institut također razvija programe osposobljavanja i obrazovanja te surađuje s industrijskim i istraživačkim partnerima na širenju tehnoloških kapaciteta.
Analitičar podataka – PySpark, SQL i Power BI
Izrađujte podatkovne cjevovode, modele i nadzorne ploče za brazilski centar za istraživanje i razvoj Instituta de Pesquisas Eldorado. Radite s alatima PySpark, SQL, Databricks i Power BI.
Opis
- Izrađujte i implementirajte cjevovode za unos podataka putem REST API-ja, web scrapinga, naslijeđenih SQL procedura i datoteka
- Pomozite u uvođenju replikacije samo za čitanje za sustave bez izravnog pristupa bazi podataka, uzimajući u obzir utjecaj na performanse
- Transformirajte podatke alatima PySpark i SQL
- Pomozite u analizi troškova obrade, usporedbi performansi i učinkovitom dimenzioniranju resursa
- Pomozite u izgradnji podatkovnih slojeva Bronze, Silver i Gold prema medallion arhitekturi
- Izrađujte pouzdane cjevovode za scraping s otkrivanjem promjena rasporeda stranice i mjerama za ublažavanje blokiranja
- Uklanjajte duplikate, normalizirajte podatke i testirajte njihovu kvalitetu
- Pomozite u uvođenju podatkovnih ugovora i upozorenja na promjene sheme za integracije trećih strana
- Izrađujte nadzorne ploče i izvješća u Power BI-ju
- Pretvarajte poslovne potrebe u podatkovne modele i jasne vizualizacije
- Primjenjujte sigurnost na razini redaka u izvješćima u skladu s pravilima RBAC-a
- Izrađujte testove kvalitete podataka i deklarativne transformacije pomoću dbt-a
- Pomozite konfigurirati značajke samoposlužne analitike, uključujući Fabric Copilot
- Surađujte s timovima za upravljanje podacima na održavanju podrijetla i klasifikacije podataka
- Pronalazite i otklanjajte probleme s performansama cjevovoda i upita
- Provodiite korisničko prihvatno testiranje i poboljšavajte nadzorne ploče na temelju povratnih informacija
Zahtjevi
- Završen preddiplomski ili diplomski studij računarstva, računalnog inženjerstva, analize sustava ili srodnog područja
- Iskustvo srednje razine u podatkovnom inženjerstvu, Pythonu ili PySparku te SQL-u
- Poznavanje Databricksa ili Sparka
- Poznavanje alata za orkestraciju kao što je Azure Data Factory
- Poznavanje analitičkih formata podataka kao što su Parquet i Delta Lake
- Poznavanje dbt-a je prednost
- Poznavanje Gita i CI/CD-a za podatkovne cjevovode
- Iskustvo s integracijom podataka putem REST API-ja
- Poznavanje praksi vizualizacije podataka i pripovijedanja pomoću podataka
- Iskustvo u radu s različitim izvorima podataka, uključujući SQL, API-je, datoteke, Lakehouse i Warehouse
- Iskustvo u implementaciji sigurnosti na razini redaka
- Spremnost na putovanje u São Paulo je prednost
- Napredno znanje engleskog jezika je prednost
Pogodnosti
- Jednake mogućnosti za sve kandidate
- Raznoliko i uključivo radno okruženje
- Otvoreno za kandidate s invaliditetom
- Hibridni način rada
- Mogućnosti stjecanja iskustva i doprinosa važnim projektima
- Pristup laboratorijskoj infrastrukturi organizacije i projektima istraživanja i razvoja