Bitful est un cabinet de conseil en technologies qui travaille avec des organisations des secteurs des télécommunications, du gouvernement, de la défense, de la logistique et de la santé. Ses services comprennent l’infrastructure cloud, le conseil en analyse de données ainsi que la conception et le développement de logiciels sur mesure. L’entreprise décrit son approche comme centrée sur l’humain, avec pour objectif d’élargir l’accès aux technologies et de créer des opportunités dans les communautés défavorisées. Bitful partage également ses bénéfices et en consacre une partie à des programmes de mentorat technologique.
Ingénieur senior en données, Databricks
Concevez des pipelines lakehouse et des jeux de données sur Databricks pour le reporting, l’apprentissage automatique et l’analyse. Accompagnez les équipes finance, ventes, chaîne d’approvisionnement et marketing.
Description
- Créez et maintenez des pipelines et des jeux de données qui facilitent le reporting, la visualisation, l’apprentissage automatique et la prise de décisions éclairées dans les différents services de l’entreprise.
- Développez des pipelines évolutifs et des jeux de données réutilisables dans un lakehouse Databricks.
- Ingérez, validez, nettoyez et transformez des données structurées et non structurées avec Python, PySpark et SQL.
- Créez des modèles de données et des jeux de données de reporting pour Tableau et des outils comme Spotfire.
- Connectez les entrepôts de données et systèmes de reporting existants à des plateformes modernes d’analyse cloud.
- Renforcez la fiabilité des pipelines, la qualité des données et la vitesse de traitement.
- Mettez en place des pratiques de tests automatisés, de supervision, de documentation et de CI/CD.
- Collaborez avec des analystes, architectes, développeurs et parties prenantes métier pour fournir des solutions de données utiles.
- Encadrez les travaux techniques, révisez le code et accompagnez d’autres ingénieurs en données.
Exigences
- Au moins sept ans d’expérience en ingénierie des données, notamment dans la création et la maintenance de pipelines de données en production.
- Maîtrise de SQL et bonne connaissance de la modélisation des données, de la conception de bases de données et de l’entreposage de données.
- Expérience pratique de Databricks, Apache Spark et des plateformes de données cloud.
- Excellente maîtrise de Python et PySpark.
- Expérience dans la création de pipelines ETL/ELT et la connexion de données issues de plusieurs systèmes sources.
- Expérience dans la préparation de jeux de données fiables pour Tableau ou des outils similaires de veille stratégique.
- Connaissance du contrôle de version, des tests automatisés et de CI/CD.
- Capacité à diagnostiquer des problèmes de données complexes et à améliorer les performances des pipelines.
- Bonne communication et expérience du travail avec des équipes techniques et des parties prenantes métier.
- Une expérience de Spotfire, Oracle, Informatica, R ou de la virtualisation des données est appréciée.
- Une certification Databricks est appréciée.