Instituto de Pesquisas Eldorado è un istituto brasiliano di ricerca e sviluppo fondato nel 1999, che aiuta le organizzazioni a trasformare le iniziative tecnologiche in prodotti testati e innovazione concreta. Le sue attività comprendono la certificazione di prodotti per le telecomunicazioni, i test di laboratorio e la consulenza sull’innovazione per settori quali automotive, sanità, logistica, agricoltura, energia e petrolio e gas. L’istituto sviluppa inoltre programmi di formazione e istruzione e collabora con partner industriali e di ricerca per ampliare le capacità tecnologiche.
Analista dei dati – PySpark, SQL e Power BI
Crea pipeline di dati, modelli e dashboard per il centro brasiliano di R&S dell’Instituto de Pesquisas Eldorado. Lavora con PySpark, SQL, Databricks e Power BI.
Descrizione
- Crea e distribuisci pipeline di acquisizione dei dati usando API REST, web scraping, procedure SQL legacy e file
- Collabora all’implementazione della replica in sola lettura per i sistemi senza accesso diretto ai database, tenendo conto dell’impatto sulle prestazioni
- Trasforma i dati con PySpark e SQL
- Aiuta a valutare i costi e le prestazioni di elaborazione e a dimensionare le risorse in modo efficiente
- Collabora alla creazione dei livelli di dati Bronze, Silver e Gold con l’architettura medallion
- Crea pipeline di scraping resilienti, con rilevamento delle modifiche di layout e misure per limitare i blocchi
- Elimina i duplicati, normalizza i dati e ne verifica la qualità
- Collabora all’implementazione di contratti sui dati e avvisi di deriva dello schema per le integrazioni di terze parti
- Crea dashboard e report Power BI
- Traduce le esigenze aziendali in modelli di dati e visualizzazioni chiare
- Applica la sicurezza a livello di riga (RLS) ai report in linea con le policy di controllo degli accessi basato sui ruoli (RBAC)
- Crea test di qualità dei dati e trasformazioni dichiarative con dbt
- Aiuta a configurare funzionalità di analisi self-service, incluso Fabric Copilot
- Collabora con i team di governance dei dati per mantenere la lineage e la classificazione
- Individua e risolve problemi di prestazioni nelle pipeline e nelle query
- Esegue test di accettazione utente e migliora le dashboard in base ai feedback
Requisiti
- Laurea in Informatica, Ingegneria informatica, Analisi dei sistemi o in un campo affine
- Esperienza di livello intermedio nell’ingegneria dei dati, con Python o PySpark e SQL
- Familiarità con Databricks o Spark
- Familiarità con strumenti di orchestrazione come Azure Data Factory
- Familiarità con formati di dati analitici come Parquet e Delta Lake
- La conoscenza di dbt costituisce un titolo preferenziale
- Familiarità con Git e CI/CD per pipeline di dati
- Esperienza nell’integrazione dei dati tramite API REST
- Conoscenza delle pratiche di visualizzazione dei dati e data storytelling
- Esperienza con diverse fonti di dati, tra cui SQL, API, file, Lakehouse e Warehouse
- Esperienza nell’implementazione della sicurezza a livello di riga (RLS)
- La disponibilità a viaggiare a São Paulo costituisce un titolo preferenziale
- La conoscenza avanzata dell’inglese costituisce un titolo preferenziale
Benefit
- Pari opportunità per tutte le persone candidate
- Ambiente di lavoro diversificato e inclusivo
- Posizione aperta a persone con disabilità
- Modalità di lavoro ibrida
- Opportunità di fare esperienza e contribuire a progetti rilevanti
- Accesso alle infrastrutture di laboratorio e ai progetti di R&S dell’organizzazione