Instituto de Pesquisas Eldorado est un institut brésilien de recherche et développement fondé en 1999, qui aide les organisations à transformer leurs initiatives technologiques en produits testés et en innovations concrètes. Ses activités comprennent la certification de produits de télécommunications, les essais en laboratoire et le conseil en innovation pour des secteurs tels que l’automobile, la santé, la logistique, l’agriculture, l’énergie et le pétrole et gaz. L’institut développe également des programmes de formation et d’enseignement, et collabore avec des partenaires industriels et de recherche afin de renforcer les capacités technologiques.
Analyste de données – PySpark, SQL et Power BI
Créez des pipelines de données, des modèles et des tableaux de bord pour le centre brésilien de R&D de l’Institut de Pesquisas Eldorado. Travaillez avec PySpark, SQL, Databricks et Power BI.
Description
- Créez et déployez des pipelines d’ingestion à l’aide d’API REST, de scraping web, de procédures SQL héritées et de fichiers
- Contribuez à la mise en place d’une réplication en lecture seule pour les systèmes sans accès direct aux bases de données, en tenant compte de l’impact sur les performances
- Transformez les données avec PySpark et SQL
- Contribuez à l’évaluation des coûts et des performances de traitement ainsi qu’au dimensionnement efficace des ressources
- Contribuez à la création de couches de données Bronze, Silver et Gold selon l’architecture médaillon
- Créez des pipelines de scraping résilients, avec détection des changements de mise en page et mesures pour limiter les blocages
- Dédupliquez et normalisez les données, puis vérifiez leur qualité
- Contribuez à la mise en place de contrats de données et d’alertes de dérive de schéma pour les intégrations tierces
- Créez des tableaux de bord et des rapports Power BI
- Traduisez les besoins métier en modèles de données et en visualisations claires
- Appliquez la sécurité au niveau des lignes (RLS) aux rapports conformément aux règles de contrôle d’accès basé sur les rôles (RBAC)
- Créez des tests de qualité des données et des transformations déclaratives avec dbt
- Contribuez à la configuration de fonctionnalités d’analytique en libre-service, dont Fabric Copilot
- Collaborez avec les équipes de gouvernance des données pour assurer le suivi de la filiation et de la classification
- Identifiez et corrigez les problèmes de performance dans les pipelines et les requêtes
- Effectuez des tests d’acceptation utilisateur et améliorez les tableaux de bord en fonction des retours
Exigences
- Diplôme de licence en informatique, en génie informatique, en analyse des systèmes ou dans un domaine connexe
- Expérience de niveau intermédiaire en ingénierie des données, en Python ou PySpark et en SQL
- Bonne connaissance de Databricks ou Spark
- Bonne connaissance d’outils d’orchestration tels qu’Azure Data Factory
- Bonne connaissance de formats de données analytiques tels que Parquet et Delta Lake
- La connaissance de dbt est un atout
- Bonne connaissance de Git et de la CI/CD pour les pipelines de données
- Expérience de l’intégration de données via des API REST
- Connaissance des pratiques de visualisation des données et de data storytelling
- Expérience avec diverses sources de données, notamment SQL, les API, les fichiers, Lakehouse et Warehouse
- Expérience de la mise en œuvre de la sécurité au niveau des lignes (RLS)
- La disponibilité pour se rendre à São Paulo est un atout
- Un niveau avancé en anglais est un atout
Avantages
- Égalité des chances pour toutes les candidatures
- Un environnement de travail diversifié et inclusif
- Poste ouvert aux personnes en situation de handicap
- Organisation de travail hybride
- Possibilités d’acquérir de l’expérience et de contribuer à des projets pertinents
- Accès aux infrastructures de laboratoire et aux projets de R&D de l’organisation