Derevo est une entreprise spécialisée dans l’analyse de données et la transformation numérique qui aide les organisations à convertir leurs données en intelligence d’affaires. Ses activités couvrent l’ensemble du cycle de vie de l’analyse, de la création et de l’intégration des données à leur analyse et à leur partage, ainsi que des initiatives visant à développer une culture axée sur les données. L’entreprise applique l’intelligence artificielle et l’apprentissage automatique à des solutions analytiques dans différents secteurs et s’appuie sur un modèle de prestation nearshore avec des équipes internationales, au service notamment de clients aux États-Unis et au Canada. Forte de plus de dix ans d’expérience, Derevo collabore avec des fournisseurs de technologies pour accompagner les organisations dans leur transformation fondée sur les données. Ses équipes interviennent en conseil, en logistique et en marketing, et l’entreprise recrute dans l’ensemble de son organisation.
Ingénieur data senior, Microsoft Fabric
Concevez des architectures, des lakehouses et des pipelines de données dans Microsoft Fabric pour les solutions data et IA de Derevo. Transformez des données à grande échelle en informations utiles aux décisions métier.
Description
- Créer et mettre en œuvre des architectures de données modernes et de haute qualité
- Développer des solutions analytiques à l’aide des technologies Big Data
- Concevoir, maintenir et optimiser des systèmes de traitement parallèle
- Appliquer les bonnes pratiques de stockage et de gestion des entrepôts de données, des lacs de données et des lakehouses
- Collecter, traiter, nettoyer et orchestrer de grands volumes de données
- Intégrer et transformer des données provenant de sources structurées et semi-structurées variées
- Définir des stratégies techniques alignées sur les objectifs métier
- Rejoindre le projet et ses sprints pour réaliser les travaux de développement
- Identifier les besoins et définir le périmètre
- Participer à la planification des sprints, aux sessions d’ingénierie, aux ateliers et aux réunions avec les équipes internes et les clients
- Classer et estimer les tâches à l’aide de méthodes agiles
- Suivre chaque jour l’avancement du sprint
- Respecter les échéances de livraison et gérer les risques en signalant rapidement les retards
Exigences
- Maîtrise avancée de l’anglais
- Solide maîtrise de T-SQL et Spark SQL, notamment DDL, DML, sous-requêtes, CTE, jointures multiples, agrégations, fonctions de fenêtrage, procédures stockées, optimisation des index, statistiques et plans d’exécution
- Solides compétences en Python (PySpark), notamment programmation orientée objet, structures de données, contrôle de flux, ingestion de données, DataFrames, UDF, fenêtres temporelles, partitionnement, PEP 8 et modularité
- Expérience de l’utilisation de JSON et des API REST pour l’orchestration de pipelines, les déploiements CI/CD, le paramétrage dynamique et la gestion des artefacts
- Connaissance de Microsoft Fabric, Lakehouse, OneLake, Delta Lake et des tables Delta conformes à ACID
- Connaissance du partitionnement, d’OPTIMIZE, de Z-ORDER et du time travel
- Connaissance des entrepôts de données (Synapse Analytics), des clusters SQL provisionnés et serverless, des schémas en étoile et en flocon, de T-SQL transactionnel, de l’isolation et de la mise à l’échelle automatique
- Expérience du CI/CD et de la gestion du cycle de vie avec Azure DevOps ou GitHub Actions
- Connaissance des tests unitaires de jeux de données, de la validation des schémas et du déploiement automatisé des artefacts
- Connaissance de Monitor Hub et Activator, des tableaux de bord de métriques, des alertes proactives et des runbooks automatisés
- Connaissance d’Eventstreams et d’Eventhouse pour l’ingestion d’événements en temps réel, les fenêtres de traitement et les agrégations incrémentielles
- Connaissance de la sécurité et de la gouvernance des données, des rôles et autorisations, de la sécurité au niveau des lignes et des colonnes, du masquage dynamique des données et de l’audit
- Une connaissance générale d’Azure Data Factory est un plus
- Solides aptitudes en communication, travail en équipe au sein de squads, proactivité, collaboration, apprentissage continu, sens des responsabilités, organisation, conseil en données, gestion des besoins, stratégie axée sur le client et présentation auprès des clients
Avantages
- Avantages légaux et complémentaires
- Possibilités de développer une expertise dans différents domaines et technologies
- Développement interdisciplinaire et nouveaux défis
- Un environnement qui offre l’espace, la confiance et la liberté de créer
- Formations nécessaires
- Participation à des projets technologiques de pointe pour des clients multinationaux
- Télétravail flexible
- Équipement nécessaire au travail
- Outils de communication interne