Az Instituto de Pesquisas Eldorado 1999-ben alapított brazil kutatási és fejlesztési intézet, amely segít a szervezeteknek technológiai kezdeményezéseiket tesztelt termékekké és gyakorlati innovációkká alakítani. Tevékenységei közé tartozik a távközlési termékek tanúsítása, a laboratóriumi vizsgálatok, valamint az autóipar, az egészségügy, a logisztika, a mezőgazdaság, az energiaipar és az olaj- és gázipar számára nyújtott innovációs tanácsadás. Az intézet képzési és oktatási programokat is fejleszt, továbbá iparági és kutatási partnerekkel együttműködve bővíti a technológiai képességeket.
Adatelemző – PySpark, SQL és Power BI
Építsen adatfolyamatokat, modelleket és irányítópultokat az Instituto de Pesquisas Eldorado brazíliai K+F központjában. Dolgozzon PySpark, SQL, Databricks és Power BI eszközökkel.
Leírás
- Hozzon létre és állítson üzembe adatbetöltési folyamatokat REST API-k, webes adatgyűjtés, régi SQL-eljárások és fájlok felhasználásával
- Segítse az adatbázis-közvetlen hozzáféréssel nem rendelkező rendszerek csak olvasható replikációjának megvalósítását, figyelembe véve a teljesítményre gyakorolt hatást
- Alakítsa át az adatokat PySpark és SQL segítségével
- Segítse a feldolgozási költségek és a teljesítmény összehasonlító mérését, valamint az erőforrások hatékony méretezését
- Segítse a Bronze, Silver és Gold adatrétegek kialakítását a medallion architektúra használatával
- Építsen ellenálló webes adatgyűjtési folyamatokat, amelyek felismerik az oldalelrendezés változásait és mérséklik a blokkolást
- Távolítsa el az adatokból a duplikátumokat, normalizálja őket, és tesztelje a minőségüket
- Segítse az adatszerződések és a sémaváltozásokra figyelmeztető jelzések megvalósítását harmadik féltől származó integrációkhoz
- Készítsen Power BI-irányítópultokat és jelentéseket
- Alakítsa az üzleti igényeket adatmodellekké és könnyen értelmezhető vizualizációkká
- Alkalmazzon sorszintű biztonságot a jelentésekre az RBAC-szabályzatoknak megfelelően
- Készítsen adatminőségi teszteket és deklaratív transzformációkat a dbt segítségével
- Segítse az önkiszolgáló analitikai funkciók, köztük a Fabric Copilot beállítását
- Működjön együtt az adatirányítási csapatokkal az adatok eredetének és besorolásának fenntartásáért
- Keresse meg és javítsa ki a teljesítményproblémákat az adatfolyamatokban és lekérdezésekben
- Végezzen felhasználói átvételi teszteket, és a visszajelzések alapján fejlessze tovább az irányítópultokat
Követelmények
- Alapképzés számítástechnika, számítógép-mérnöki tudományok, rendszerelemzés vagy kapcsolódó területen
- Középhaladó szintű tapasztalat adat engineering, Python vagy PySpark és SQL területén
- Databricks vagy Spark ismerete
- Azure Data Factory típusú vezénylőeszközök ismerete
- Parquet és Delta Lake típusú analitikai adatformátumok ismerete
- A dbt ismerete előnyt jelent
- A Git és a CI/CD ismerete adatfolyamatokhoz
- REST API-kon keresztüli adatintegrációs tapasztalat
- Az adatvizualizációs gyakorlatok és az adatok történetmesélő bemutatásának ismerete
- Tapasztalat különféle adatforrásokkal, például SQL-lel, API-kkal, fájlokkal, Lakehouse- és Warehouse-rendszerekkel
- Sorszintű biztonság megvalósításában szerzett tapasztalat
- A São Paulóba történő utazás vállalása előnyt jelent
- A haladó szintű angol nyelvtudás előnyt jelent
Juttatások
- Minden jelölt számára egyenlő esélyek
- Sokszínű és befogadó munkahely
- Fogyatékossággal élő jelöltek jelentkezését is várjuk
- Hibrid munkavégzés
- Lehetőség tapasztalatszerzésre és jelentős projektekhez való hozzájárulásra
- Hozzáférés a szervezet laboratóriumi infrastruktúrájához és K+F projektjeihez