Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services est une entreprise de conseil et de services technologiques qui aide les organisations des secteurs public et privé à gérer et à améliorer leurs environnements informatiques. Ses activités couvrent la gestion de la performance d’entreprise, l’architecture, la gestion de projets, la gestion des infrastructures et des applications, ainsi que les services managés. L’entreprise travaille également avec AppDynamics, BigPanda, Datadog et AWS dans les domaines de la supervision des performances, de la corrélation des événements et de l’automatisation, de la supervision du cloud et de la gestion des services informatiques. Scicom assure une assistance opérationnelle 24 h/24 pour des infrastructures mondiales. Son profil décrit une équipe qui intervient dans les technologies d’entreprise, le SaaS et le B2B ; consultez les offres actuelles pour en savoir plus sur les postes et le recrutement.

Ingénieur données Databricks, contrats de données OCDS

Faites le lien entre les parties prenantes des marchés publics et les équipes d’ingénierie afin de définir des contrats de données pour un vaste programme Databricks. Créez des pipelines et des contrôles conformes à l’OCDS pour garantir des données contractuelles fiables et normalisées.

Description

  • Faites le lien entre les équipes métier, marchés publics, gouvernance et ingénierie dans le cadre d’un vaste déploiement de Databricks.
  • Animez des ateliers sur les exigences avec les parties prenantes des marchés publics, des programmes, de l’analytique, de la gouvernance et des équipes techniques.
  • Créez et maintenez des contrats de données qui définissent les échanges de données entre producteurs et consommateurs.
  • Transformez les besoins métier en récits utilisateur, critères d’acceptation, flux de processus, correspondances, spécifications d’interface et exigences d’ingénierie.
  • Analysez les systèmes sources, profilez les données, évaluez les écarts et faites correspondre les champs sources aux structures cibles.
  • Comparez les données actuelles des marchés publics aux structures requises par l’OCDS.
  • Mettez d’accord les responsables des données, les producteurs, les consommateurs, les architectes et les équipes de gouvernance.
  • Suivez les exigences tout au long de la modélisation des données, de l’implémentation, des tests et de l’acceptation.
  • Évaluez les effets des changements proposés sur les produits de données, les rapports, les intégrations et les cas d’usage analytiques.
  • Aidez à préparer et à mener les revues du backlog, la planification des sprints, les démonstrations, les tests et l’acceptation par les parties prenantes.
  • Appliquez l’OCDS aux données des marchés publics et des contrats publics, de la planification à l’implémentation.
  • Maintenez les correspondances des versions, dossiers, lots, identifiants, organisations, parties, articles, jalons, documents, transactions, modifications et éléments connexes de l’OCDS.
  • Utilisez les schémas, listes de codes, règles de validation et guides d’implémentation de l’OCDS.
  • Déterminez quand des extensions de l’OCDS sont nécessaires et consignez les hypothèses, règles, correspondances, exceptions et extensions associées.
  • Constituez des dossiers contractuels à partir des publications transactionnelles et définissez la gestion des modifications, mises à jour, annulations, corrections et changements historiques.
  • Vérifiez les données transformées à l’aide des schémas JSON de l’OCDS et corrigez les données de marchés publics manquantes, non valides, incohérentes ou non conformes.
  • Facilitez la publication, l’échange, l’analyse ou l’utilisation interne de données contractuelles normalisées.
  • Développez, testez et maintenez des pipelines Databricks avec Apache Spark, PySpark, Python et SQL.
  • Ingérez et transformez des données structurées et semi-structurées sur les marchés publics provenant de JSON, CSV, XML, Parquet, bases de données, API et fichiers.
  • Créez des couches Bronze, Silver et Gold avec l’architecture médaillon.
  • Développez des modèles de données normalisés, dimensionnels, analytiques et fondés sur l’OCDS.
  • Utilisez Delta Lake pour appliquer et faire évoluer les schémas, gérer les versions, faciliter les audits et traiter les données de manière fiable.
  • Créez des méthodes réutilisables pour convertir les données sources des marchés publics en résultats compatibles avec l’OCDS.
  • Mettez en place l’ingestion des données par lots et incrémentale.
  • Utilisez les outils Databricks appropriés, notamment Workflows, notebooks, jobs, Auto Loader, Delta Live Tables ou Lakeflow.
  • Créez des connexions API REST pour l’ingestion des données sources et leur transmission aux systèmes en aval.
  • Automatisez les contrôles de qualité des données, de rapprochement, d’exhaustivité et de conformité.
  • Contribuez à l’implémentation d’Unity Catalog pour les métadonnées, la propriété, la traçabilité, les contrôles d’accès et la découverte des données.
  • Améliorez les jobs Spark, les requêtes SQL, les clusters, le partitionnement, la taille des fichiers et l’organisation des données.
  • Participez aux revues de code, aux tests automatisés, à la CI/CD, aux déploiements, à la supervision et au support de production.
  • Diagnostiquez les défaillances de pipelines, les écarts de données et les problèmes de performance.
  • Définissez des règles mesurables pour l’exactitude, l’exhaustivité, la validité, l’actualité, la cohérence et l’unicité des données.
  • Créez des contrôles de validation pour les champs OCDS, les identifiants, les dates, les montants, les devises, les organisations, les classifications et les relations contractuelles.
  • Créez des tableaux de bord ou des rapports sur la conformité des contrats de données et les résultats de qualité des données.
  • Mettez en place des moyens de détecter et de gérer la dérive des schémas.
  • Suivez la traçabilité des données des marchés publics à travers les transformations Databricks jusqu’aux produits en aval.
  • Collaborez avec les équipes de gouvernance pour définir les responsables, les dépositaires, les classifications, la conservation et les politiques d’accès.
  • Traitez les données sensibles sur les marchés publics et les fournisseurs conformément aux exigences de sécurité et de confidentialité.
  • Tenez des pistes d’audit avec les règles documentées, les correspondances versionnées, les résultats de validation et l’historique des modifications.

Exigences

  • Licence en informatique, systèmes d’information, analytique des données, analyse métier, ingénierie, administration publique, gestion de la chaîne d’approvisionnement ou discipline connexe.
  • Au moins cinq ans d’expérience cumulée en ingénierie des données, analyse des données, analyse métier ou intégration des données.
  • Expérience pratique de la mise en œuvre ou de l’utilisation de l’Open Contracting Data Standard (OCDS).
  • Expérience dans la création, la documentation, la négociation ou la maintenance de contrats de données.
  • Expérience dans la correspondance de données sur les marchés publics ou les contrats avec les schémas OCDS.
  • Maîtrise des versions, dossiers, schémas, listes de codes, identifiants, étapes contractuelles et méthodes de validation de l’OCDS.
  • Au moins trois ans d’expérience pratique de Databricks.
  • Solides compétences en Apache Spark, PySpark, Python, SQL, Delta Lake, pipelines ETL/ELT, modélisation des données, JSON et JSON Schema, API REST, validation de la qualité des données et correspondance source-cible.
  • Expérience dans le recueil des exigences et leur traduction en spécifications d’ingénierie concrètes.
  • Communication claire avec des interlocuteurs techniques et non techniques.
  • Expérience dans la préparation de récits utilisateur, critères d’acceptation, règles métier, dictionnaires de données, spécifications d’interface et documentation des processus.
  • Solides compétences en analyse, dépannage, facilitation et documentation.
  • Expérience de la livraison de travaux au sein d’équipes agiles.
  • Atout : expérience des marchés publics, des contrats du secteur public, des subventions, des acquisitions, des fournisseurs ou des données financières.
  • Atout : expérience de la création d’extensions OCDS ou de l’adaptation de l’OCDS aux besoins d’une organisation.
  • Atout : connaissance des classifications des marchés publics, des identifiants d’organisation, des appels d’offres, des attributions, des modifications, des jalons, des transactions et de l’exécution des contrats.
  • Atout : certification Databricks Certified Data Engineer Associate ou Professional.
  • Atout : expérience d’Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, services cloud, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, validateurs JSON Schema, cadres automatisés de qualité des données, gestion des métadonnées ou des données de référence, traçabilité, gouvernance des données de référence, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins ou Terraform.
  • Atout : expérience dans de grands programmes de données fédéraux, étatiques, locaux ou d’entreprises réglementées.
  • Atout : connaissance des exigences fédérales en matière d’acquisition, de marchés publics, de rapports, de transparence ou de données ouvertes.
  • Capacité à contribuer aux discussions d’ingénierie comme à celles d’analyse métier.
  • Bonne compréhension des contrats de données et de la responsabilité des producteurs et consommateurs.
  • Capacité à traduire des processus complexes de marchés publics en structures de données et règles de transformation claires.
  • Rigueur dans l’interprétation des schémas, listes de codes, définitions métier et exigences de validation.
  • Solides capacités de facilitation auprès des parties prenantes et de résolution des conflits.
  • Capacité à repérer les lacunes et les ambiguïtés avant qu’elles n’entraînent des défauts d’ingénierie.
  • Engagement en faveur de la documentation, de la traçabilité, de la gouvernance et de la qualité des données.
  • Capacité à travailler efficacement au sein d’une grande équipe Databricks pluridisciplinaire.

Avantages

  • L’offre ne précise aucun avantage, avantage en nature ni rémunération supplémentaire.

Offres similaires

Aucune offre d’emploi trouvée

Essayez de modifier ou d’effacer vos filtres pour trouver plus d’opportunités.