Allata
Allata
Allata est un cabinet de conseil mondial qui aide les organisations à transformer leur stratégie numérique en améliorations concrètes pour leurs activités. Ses équipes interviennent dans les domaines de la stratégie, de l’expérience client, du cloud et des technologies, des données et de l’intelligence artificielle. Elles accompagnent leurs clients dans leurs démarches de modernisation, de personnalisation et d’efficacité opérationnelle. Allata travaille notamment avec les secteurs de l’automobile, de la santé, de la logistique, des services financiers et des hautes technologies, en s’appuyant sur l’expérience d’anciens responsables informatiques et de professionnels du conseil pour guider des initiatives numériques complexes.

Responsable de plateforme de données Databricks (à distance, Texas)

Pilotez l’architecture et la mise en œuvre de plateformes Lakehouse gouvernées et d’entrepôts de données d’entreprise pour Allata. Guidez les pipelines de données, la sécurité, l’évolutivité et le développement de produits de données.

Description

  • Définir l’architecture, les choix technologiques, les modèles de référence et les plans d’intégration des plateformes Lakehouse et des entrepôts de données d’entreprise.
  • Créer des modèles conceptuels, logiques et physiques pour des produits de données mutualisés et propres à chaque secteur.
  • Standardiser les couches de données pour l’ingestion, le stockage brut, la curation et la mise à disposition.
  • Établir des pratiques de gouvernance pour les métadonnées, les catalogues, la traçabilité, les contrats de données et la classification.
  • Définir les contrôles de sécurité et de conformité concernant les accès, le masquage, le chiffrement, la segmentation réseau et les audits.
  • Planifier l’évolutivité de la plateforme, la haute disponibilité, la reprise après sinistre, la capacité et la gestion des coûts.
  • Piloter la sélection et l’intégration de Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory ou Data Fabric, ainsi que des outils d’orchestration et de supervision.
  • Définir et faire respecter les pratiques CI/CD pour les actifs de données, notamment les tests, les mises en production automatisées et les plans de retour arrière.
  • Définir les approches d’ingestion par lots et en continu, de compactage, de partitionnement et de stockage.
  • Établir des normes d’observabilité pour les métriques, les SLA, les tableaux de bord, les journaux, les traces et les alertes.
  • Assurer le leadership technique et le mentorat des équipes d’ingénierie des données.
  • Examiner l’architecture et le code des composants critiques.
  • Collaborer avec les responsables de produits de données et les parties prenantes de la sécurité, de l’infrastructure, de la BI et du ML afin de transformer les besoins en solutions et en feuilles de route.
  • Développer, tester et déployer des modules de traitement avec Spark, PySpark ou Scala, Spark SQL et des procédures stockées.
  • Développer et optimiser des pipelines de données sur Databricks et des plateformes de bases de données.
  • Appliquer les pratiques DevOps, l’infrastructure en tant que code, le CI/CD, les tests automatisés et le contrôle de version.
  • Résoudre les problèmes complexes de qualité, de performance et de disponibilité des données, et mener des améliorations continues.

Exigences

  • Expérience préalable en tant qu’architecte ou responsable technique de plateformes de données d’entreprise.
  • Maîtrise pratique des technologies Databricks, notamment Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader et Structured Streaming.
  • Solides compétences en Spark, PySpark et/ou Scala, Spark SQL et optimisation des tâches distribuées.
  • Expérience en conception d’entrepôts de données et de plateformes Lakehouse.
  • Connaissance pratique des modèles Medallion, Lambda et Kappa.
  • Expérience de l’intégration d’outils SaaS, ETL ou de connecteurs tels que Fivetran.
  • Expérience des outils d’orchestration tels qu’Airflow, Azure Data Factory et Data Fabric.
  • Expérience des bases de données relationnelles et hybrides, notamment MS SQL Server, PostgreSQL, Oracle, Azure SQL et AWS RDS/Aurora, ou équivalents.
  • Maîtrise du CI/CD des pipelines de données avec Azure DevOps, GitHub Actions, Jenkins ou des outils similaires.
  • Expérience du conditionnement et du déploiement d’artefacts tels que des fichiers .whl et des conteneurs.
  • Expérience du traitement par lots et en continu, du compactage de fichiers, du partitionnement et du réglage du stockage.
  • Connaissance de la sécurité cloud, de l’IAM/RBAC, du chiffrement, des concepts VPC/VNet et des réseaux cloud.
  • Connaissance des outils d’observabilité et de supervision tels que Prometheus, Grafana, Datadog ou les services cloud natifs.
  • Une expérience de l’automatisation des pipelines CI/CD et du développement basé sur trunk est un plus.
  • Une expertise avancée de PySpark est un plus.
  • Une expertise avancée en optimisation et en orchestration des flux de travail Spark est un plus.
  • Des certifications Databricks, d’architecture cloud ou de données sont un plus.
  • Capacité à repérer, diagnostiquer et résoudre des problèmes complexes liés aux données.
  • Solides compétences en collaboration et en communication.
  • Curiosité et ouverture aux nouveaux outils, technologies et méthodes.

Avantages

  • Poste à temps plein.
  • Environnement de travail inclusif et offrant l’égalité des chances.
  • Engagement en faveur de la diversité.

Offres similaires

The Athletic

Responsable senior de l’analytique des données

The Athletic

Pilotez les analyses produit au service de la croissance de The Athletic, une entreprise de médias sportifs. Encadrez des analystes et utilisez l’expérimentation pour éclairer les décisions relatives aux abonnements et aux produits.

Ouvrir
Lunar Solar Group

Scientifique des données en mesure marketing (à distance, États-Unis)

Lunar Solar Group

Développer des modèles d’attribution, d’incrémentalité et de mix média pour Lunar Solar Group, un cabinet de conseil en croissance et une agence de marketing numérique. Transformer les analyses en recommandations budgétaires concrètes pour les clients.

Ouvrir
Airbnb

Scientifique des données senior, recherche en analytique RH

Airbnb

Pilotez la recherche en analytique RH chez Airbnb en utilisant l’inférence causale et la modélisation statistique pour éclairer les décisions liées aux effectifs, à la rémunération, au recrutement et à la fidélisation. Collaborez avec les parties prenantes sur des analyses et des rapports sensibles.

Ouvrir
The Cigna Group

Responsable senior du développement des données, télétravail (États-Unis)

The Cigna Group

Créez des produits de données Silver et Gold réutilisables pour les services de santé de Cigna avec Databricks et des pipelines MVP et CI/CD gouvernés. Transformez les besoins métier en solutions de données prêtes pour la production et définissez des normes pour les Opérations de données.

Ouvrir
Clear Street

Scientifique senior des données de croissance

Clear Street

Améliorer l’évaluation, la fiabilité et la sécurité du copilote IA de Clear Street. Le poste contribue à une plateforme de courtage et de négociation cloud native destinée aux investisseurs avertis.

Ouvrir