Das Instituto de Pesquisas Eldorado ist ein brasilianisches Forschungs- und Entwicklungsinstitut, das 1999 gegründet wurde und Organisationen dabei unterstützt, Technologievorhaben in geprüfte Produkte und praxisnahe Innovationen zu überführen. Zu den Tätigkeitsfeldern gehören die Zertifizierung von Telekommunikationsprodukten, Laborprüfungen und Innovationsberatung für Branchen wie Automobilindustrie, Gesundheitswesen, Logistik, Landwirtschaft, Energie sowie Öl und Gas. Darüber hinaus entwickelt das Institut Aus- und Weiterbildungsprogramme und arbeitet mit Industrie- und Forschungspartnern zusammen, um technologische Kompetenzen auszubauen.
Datenanalyst – PySpark, SQL und Power BI
Entwickle Datenpipelines, Modelle und Dashboards für das brasilianische Forschungs- und Entwicklungszentrum von Instituto de Pesquisas Eldorado. Arbeite mit PySpark, SQL, Databricks und Power BI.
Beschreibung
- Erstelle und implementiere Datenaufnahme-Pipelines mit REST-APIs, Web Scraping, älteren SQL-Prozeduren und Dateien
- Unterstütze die Implementierung schreibgeschützter Replikation für Systeme ohne direkten Datenbankzugriff und berücksichtige dabei die Auswirkungen auf die Leistung
- Transformiere Daten mit PySpark und SQL
- Unterstütze Benchmarks zu Verarbeitungskosten und Leistung sowie die effiziente Dimensionierung von Ressourcen
- Unterstütze den Aufbau von Bronze-, Silver- und Gold-Datenschichten mit der Medallion-Architektur
- Erstelle robuste Scraping-Pipelines mit Erkennung von Layoutänderungen und Maßnahmen gegen Blockierungen
- Entferne Duplikate und normalisiere Daten und teste deren Qualität
- Unterstütze die Implementierung von Datenverträgen und Warnmeldungen bei Schemaänderungen für Integrationen von Drittanbietern
- Erstelle Power-BI-Dashboards und Berichte
- Überführe geschäftliche Anforderungen in Datenmodelle und verständliche Visualisierungen
- Wende Row-Level Security gemäß RBAC-Richtlinien auf Berichte an
- Erstelle mit dbt Datenqualitätstests und deklarative Transformationen
- Unterstütze die Konfiguration von Self-Service-Analysefunktionen, einschließlich Fabric Copilot
- Arbeite mit Data-Governance-Teams zusammen, um Datenherkunft und Klassifizierung zu pflegen
- Finde und behebe Leistungsprobleme in Pipelines und Abfragen
- Führe Benutzerakzeptanztests durch und verbessere Dashboards auf Grundlage des Feedbacks
Anforderungen
- Bachelorabschluss in Informatik, Computertechnik, Systemanalyse oder einem verwandten Fachgebiet
- Berufserfahrung auf mittlerem Niveau in Data Engineering, Python oder PySpark und SQL
- Vertrautheit mit Databricks oder Spark
- Vertrautheit mit Orchestrierungstools wie Azure Data Factory
- Vertrautheit mit analytischen Datenformaten wie Parquet und Delta Lake
- Kenntnisse in dbt sind von Vorteil
- Vertrautheit mit Git und CI/CD für Datenpipelines
- Erfahrung mit der Integration von Daten über REST-APIs
- Kenntnisse in Datenvisualisierung und Data Storytelling
- Erfahrung mit unterschiedlichen Datenquellen, darunter SQL, APIs, Dateien, Lakehouse und Warehouse
- Erfahrung mit der Implementierung von Row-Level Security
- Reisebereitschaft nach São Paulo ist von Vorteil
- Fortgeschrittene Englischkenntnisse sind von Vorteil
Zusatzleistungen
- Chancengleichheit für alle Bewerberinnen und Bewerber
- Ein vielfältiges und inklusives Arbeitsumfeld
- Auch für Menschen mit Behinderungen offen
- Hybrides Arbeitsmodell
- Möglichkeiten, Berufserfahrung aufzubauen und zu relevanten Projekten beizutragen
- Zugang zur Laborinfrastruktur und zu Forschungs- und Entwicklungsprojekten der Organisation