Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services 是一家技术咨询与服务公司,帮助公共和私营部门的机构管理并改善其 IT 环境。其业务涵盖企业绩效管理、架构设计、项目管理、基础设施与应用管理,以及托管服务。公司还与 AppDynamics、BigPanda、Datadog 和 AWS 合作,提供性能监控、事件关联与自动化、云监控及 IT 服务管理方面的服务。Scicom 为全球基础设施提供全天候运营支持。公司介绍称,其团队业务涉及企业级、SaaS 和 B2B 技术;有关职位和招聘情况,请查看当前开放岗位。

Databricks 数据工程师,OCDS 数据契约

连接采购相关方与工程团队,为大型 Databricks 项目定义数据契约。 构建符合 OCDS 的数据管道与控制机制,确保合同数据可靠且标准化。

描述

  • 在大型 Databricks 实施项目中协调业务、合同、治理和工程团队。
  • 主持采购、项目、分析、治理及技术相关方的需求研讨会。
  • 创建并维护数据契约,明确数据生产方与使用方之间的数据交换方式。
  • 将业务需求转化为用户故事、验收标准、流程、映射、接口规范和工程要求。
  • 分析源系统、分析数据概况、评估差距,并将源字段映射到目标结构。
  • 将当前采购数据与 OCDS 要求的结构进行比较。
  • 促使数据所有者、生产方、使用方、架构师和治理团队达成一致。
  • 跟踪需求从数据建模到实施、测试和验收的全过程。
  • 评估拟议变更对数据产品、报告、集成和分析用例的影响。
  • 协助准备并开展待办事项评审、迭代规划、演示、测试和相关方验收。
  • 在规划到实施的各阶段,将 OCDS 应用于采购和公共合同数据。
  • 维护 OCDS 发布版本、记录、包、标识符、组织、参与方、项目、里程碑、文件、交易、修订及相关要素的映射。
  • 使用 OCDS 架构、代码列表、验证规则和实施指南。
  • 识别何时需要 OCDS 扩展,并记录相关假设、规则、映射、例外和扩展内容。
  • 根据交易发布记录构建合同记录,并定义修订、更新、取消、更正和历史变更的处理方式。
  • 依据 OCDS JSON 架构检查转换后的数据,并修复采购数据中的缺失、无效、不一致或不符合规范之处。
  • 支持标准化合同数据的发布、交换、分析或内部使用。
  • 使用 Apache Spark、PySpark、Python 和 SQL 构建、测试并维护 Databricks 数据管道。
  • 从 JSON、CSV、XML、Parquet、数据库、API 和文件中摄取并转换结构化及半结构化采购数据。
  • 采用 Medallion 架构创建 Bronze、Silver 和 Gold 数据层。
  • 开发规范化、维度型、分析型及基于 OCDS 的数据模型。
  • 使用 Delta Lake 强制执行并演进架构、管理版本、支持审计并可靠地处理数据。
  • 创建可复用的方法,将源采购数据转换为兼容 OCDS 的输出。
  • 构建批量和增量数据摄取流程。
  • 使用适当的 Databricks 工具,包括 Workflows、笔记本、作业、Auto Loader、Delta Live Tables 或 Lakeflow。
  • 构建 REST API 连接,以摄取源数据并向下游交付数据。
  • 自动执行数据质量、对账、完整性和规范符合性检查。
  • 协助实施 Unity Catalog,以管理元数据、所有权、血缘、访问控制和数据发现。
  • 改进 Spark 作业、SQL 查询、集群、分区、文件大小和数据布局。
  • 参与代码审查、自动化测试、CI/CD、部署、监控和生产支持。
  • 诊断管道故障、数据不匹配和性能问题。
  • 制定可衡量的数据准确性、完整性、有效性、及时性、一致性和唯一性规则。
  • 为 OCDS 字段、标识符、日期、金额、货币、组织、分类和合同关系创建验证控制。
  • 构建仪表板或报告,展示数据契约合规情况和数据质量结果。
  • 建立检测和管理架构漂移的方法。
  • 追踪采购数据经过 Databricks 转换后流向下游产品的数据血缘。
  • 与治理团队合作,定义所有者、数据管理员、分类、保留期限和访问策略。
  • 按照安全与隐私要求处理敏感采购数据和供应商数据。
  • 通过记录规则、版本化映射、验证结果和变更历史来维护审计轨迹。

任职要求

  • 计算机科学、信息系统、数据分析、业务分析、工程、公共管理、供应链管理或相关专业的学士学位。
  • 至少五年数据工程、数据分析、业务分析或数据集成相关综合经验。
  • 具有实施或使用开放合同数据标准(OCDS)的实践经验。
  • 具有创建、编写文档、协商或维护数据契约的经验。
  • 具有将采购或合同数据映射到 OCDS 架构的经验。
  • 熟练掌握 OCDS 发布版本、记录、架构、代码列表、标识符、合同阶段和验证方法。
  • 至少三年 Databricks 实际操作经验。
  • 精通 Apache Spark、PySpark、Python、SQL、Delta Lake、ETL/ELT 管道、数据建模、JSON 与 JSON Schema、REST API、数据质量验证和源到目标映射。
  • 具有收集需求并将其转化为可执行工程规范的经验。
  • 能够与技术和非技术合作伙伴清晰沟通。
  • 具有编写用户故事、验收标准、业务规则、数据字典、接口规范和流程文档的经验。
  • 具备较强的分析、故障排查、协调和文档编写能力。
  • 具有在敏捷团队中交付工作的经验。
  • 优先:具有政府采购、公共部门合同、拨款、采购管理、供应商或财务数据背景。
  • 优先:具有构建 OCDS 扩展或根据组织需求调整 OCDS 的经验。
  • 优先:熟悉采购分类、组织标识符、招标、授标、修订、里程碑、交易和合同实施。
  • 优先:持有 Databricks Certified Data Engineer Associate 或 Professional 认证。
  • 优先:具有以下一项或多项经验:Unity Catalog、Delta Live Tables、Lakeflow、Databricks Workflows、Structured Streaming、云服务、Azure Data Factory、ADLS Gen2、AWS Glue、Amazon S3、Snowflake、dbt、Kafka、Airflow、Power BI、JSON Schema 验证器、自动化数据质量框架、元数据或主数据管理、数据血缘、参考数据治理、CI/CD、Git、Azure DevOps、GitHub Actions、Jenkins 或 Terraform。
  • 优先:具有参与大型联邦、州、地方政府或受监管企业数据项目的经验。
  • 优先:熟悉联邦采购、采购管理、报告、透明度或开放数据要求。
  • 能够参与工程和业务分析讨论。
  • 深入理解数据契约以及生产方和使用方的责任。
  • 能够将复杂采购流程转化为清晰的数据结构和转换规则。
  • 能够谨慎解读架构、代码列表、业务定义和验证要求。
  • 具备较强的相关方协调和冲突解决能力。
  • 能够在问题导致工程缺陷前发现差距和歧义。
  • 重视文档、可追溯性、治理和数据质量。
  • 能够在大型多学科 Databricks 团队中有效工作。

福利待遇

  • 招聘信息未说明福利、津贴或额外薪酬。

相关职位

未找到职位

尝试调整或清除筛选条件,以查看更多机会。