Instituto de Pesquisas Eldorado on 1999. aastal asutatud Brasiilia teadus- ja arendusinstituut, mis aitab organisatsioonidel muuta tehnoloogiaalgatused testitud toodeteks ja praktiliseks innovatsiooniks. Selle tegevus hõlmab telekommunikatsioonitoodete sertifitseerimist, laboratoorseid katseid ja innovatsioonikonsultatsioone sellistes valdkondades nagu autotööstus, tervishoid, logistika, põllumajandus, energeetika ning nafta- ja gaasisektor. Instituut arendab ka koolitus- ja haridusprogramme ning teeb koostööd tööstus- ja teaduspartneritega, et laiendada tehnoloogilisi võimekusi.
Andmeanalüütik – PySpark, SQL ja Power BI
Loo andmetöötlusvoogusid, mudeleid ja juhtpaneele Instituto de Pesquisas Eldorado Brasiilia teadus- ja arenduskeskuses. Töös kasutad PySparki, SQL-i, Databricksi ja Power BI-d.
Kirjeldus
- Loo ja juuruta andmete sisestamise töövooge REST API-de, veebikraapimise, pärand-SQL-protseduuride ja failide abil
- Aita rakendada kirjutuskaitstud replikatsiooni süsteemidele, millel puudub otsene andmebaasiühendus, arvestades mõju jõudlusele
- Teisenda andmeid PySparki ja SQL-iga
- Osale töötlemiskulude ja jõudluse võrdlustestides ning aita ressursse tõhusalt mõõta
- Aita luua medallioniarhitektuuri järgi Bronze-, Silver- ja Gold-andmekihte
- Loo töökindlaid veebikraapimise töövooge, mis tuvastavad lehepaigutuse muutusi ja aitavad vältida blokeerimist
- Eemalda andmetest duplikaadid, normaliseeri need ja kontrolli nende kvaliteeti
- Aita rakendada kolmandate osapoolte integratsioonide jaoks andmelepinguid ja skeemimuutuste hoiatusi
- Loo Power BI juhtpaneele ja aruandeid
- Muuda ärivajadused andmemudeliteks ja selgeteks visualiseeringuteks
- Rakenda aruannetele RBAC-poliitikatega kooskõlas olevat reataseme turvet
- Loo dbt-ga andmekvaliteedi teste ja deklaratiivseid teisendusi
- Aita seadistada iseteenindusanalüütika funktsioone, sealhulgas Fabric Copiloti
- Tee koostööd andmehalduse tiimidega andmete päritolu ja klassifikatsiooni säilitamiseks
- Leia ja lahenda töövoogude ning päringute jõudlusprobleeme
- Korralda kasutajate vastuvõtuteste ja paranda tagasiside põhjal juhtpaneele
Nõuded
- Bakalaureusekraad arvutiteaduses, arvutitehnikas, süsteemianalüüsis või sellega seotud erialal
- Kesktasemel kogemus andmetöötluse, Pythoni või PySparki ja SQL-iga
- Databricksi või Sparki tundmine
- Orkestreerimistööriistade, näiteks Azure Data Factory tundmine
- Analüütiliste andmevormingute, näiteks Parquet ja Delta Lake tundmine
- dbt tundmine tuleb kasuks
- Giti ja andmetöövoogude CI/CD tundmine
- Kogemus andmete integreerimisega REST API-de kaudu
- Andmete visualiseerimise põhimõtete ja andmelugude jutustamise oskus
- Kogemus mitmesuguste andmeallikatega, sealhulgas SQL-i, API-de, failide, Lakehouse'i ja Warehouse'iga
- Kogemus reataseme turbe rakendamisega
- Valmisolek São Paulosse reisida tuleb kasuks
- Kõrgtasemel inglise keele oskus tuleb kasuks
Hüved
- Kõigile kandidaatidele võrdsed võimalused
- Mitmekesine ja kaasav töökeskkond
- Kandideerima on oodatud ka puuetega inimesed
- Hübriidtöökorraldus
- Võimalus omandada kogemusi ja panustada olulistesse projektidesse
- Juurdepääs organisatsiooni laboritaristule ja teadus- ning arendusprojektidele