Instituto de Pesquisas Eldorado on vuonna 1999 perustettu brasilialainen tutkimus- ja kehitysinstituutti, joka auttaa organisaatioita muuttamaan teknologiahankkeita testatuiksi tuotteiksi ja käytännön innovaatioiksi. Sen toimintaan kuuluvat televiestintätuotteiden sertifiointi, laboratoriotestit ja innovaatiokonsultointi muun muassa autoalan, terveydenhuollon, logistiikan, maatalouden, energia-alan sekä öljy- ja kaasualan tarpeisiin. Instituutti kehittää myös koulutus- ja opetusohjelmia sekä tekee yhteistyötä teollisuuden ja tutkimuskumppaneiden kanssa teknologisten valmiuksien vahvistamiseksi.
Data-analyytikko – PySpark, SQL ja Power BI
Rakenna datan käsittelyputkia, malleja ja koontinäyttöjä Instituto de Pesquisas Eldoradon Brasilian T&K-keskuksessa. Työskentele PySparkin, SQL:n, Databricksin ja Power BI:n parissa.
Kuvaus
- Luo ja ota käyttöön datan sisäänoton putkia REST-rajapinnoille, verkkosivujen tiedonkeruulle, vanhoille SQL-proseduureille ja tiedostoille
- Auta ottamaan käyttöön vain luku -replikointi järjestelmille, joihin ei ole suoraa tietokantayhteyttä, ja huomioi suorituskykyvaikutukset
- Muunna dataa PySparkilla ja SQL:llä
- Avusta käsittelykustannusten ja suorituskyvyn vertailutesteissä sekä resurssien tehokkaassa mitoituksessa
- Auta rakentamaan Bronze-, Silver- ja Gold-datakerrokset medallion-arkkitehtuurin mukaisesti
- Rakenna toimintavarmoja tiedonkeruuputkia, jotka tunnistavat sivuasettelun muutokset ja torjuvat estotoimia
- Poista datasta kaksoiskappaleet, normalisoi se ja testaa sen laatua
- Auta ottamaan käyttöön datan sopimukset ja skeemamuutoksista ilmoittavat hälytykset kolmansien osapuolten integraatioille
- Luo Power BI -koontinäyttöjä ja raportteja
- Muunna liiketoiminnan tarpeet datamalleiksi ja selkeiksi visualisoinneiksi
- Ota raporteissa käyttöön rivitason suojaus RBAC-käytäntöjen mukaisesti
- Luo datan laatutestejä ja deklaratiivisia muunnoksia dbt:llä
- Auta määrittämään itsepalveluanalytiikan ominaisuuksia, kuten Fabric Copilot
- Tee yhteistyötä datan hallintatiimien kanssa datan jäljitettävyyden ja luokittelun ylläpitämiseksi
- Etsi ja korjaa suorituskykyongelmia putkissa ja kyselyissä
- Suorita käyttäjien hyväksymistestejä ja kehitä koontinäyttöjä palautteen perusteella
Vaatimukset
- Alempi korkeakoulututkinto tietojenkäsittelytieteessä, tietotekniikassa, tietojärjestelmien analysoinnissa tai vastaavalla alalla
- Keskitason kokemusta data engineeringistä, Pythonista tai PySparkista sekä SQL:stä
- Databricksin tai Sparkin tuntemus
- Orkestrointityökalujen, kuten Azure Data Factoryn, tuntemus
- Analyyttisten dataformaattien, kuten Parquetin ja Delta Laken, tuntemus
- dbt-osaaminen katsotaan eduksi
- Git-versionhallinnan ja datan käsittelyputkien CI/CD-käytäntöjen tuntemus
- Kokemusta datan integroinnista REST-rajapintojen kautta
- Datan visualisoinnin käytäntöjen ja datatarinankerronnan tuntemus
- Kokemusta työskentelystä erilaisten datalähteiden kanssa, mukaan lukien SQL, rajapinnat, tiedostot, Lakehouse ja Warehouse
- Kokemusta rivitason suojauksen käyttöönotosta
- Valmius matkustaa São Pauloon katsotaan eduksi
- Edistynyt englannin kielen taito katsotaan eduksi
Edut
- Yhtäläiset mahdollisuudet kaikille hakijoille
- Monimuotoinen ja osallistava työyhteisö
- Myös vammaiset hakijat voivat hakea
- Hybridityö
- Mahdollisuuksia kartuttaa kokemusta ja osallistua merkityksellisiin projekteihin
- Pääsy organisaation laboratorioinfrastruktuuriin ja T&K-projekteihin