Databricks 数据工程师,OCDS 数据契约
连接采购相关方与工程团队,为大型 Databricks 项目定义数据契约。 构建符合 OCDS 的数据管道与控制机制,确保合同数据可靠且标准化。
描述
- 在大型 Databricks 实施项目中协调业务、合同、治理和工程团队。
- 主持采购、项目、分析、治理及技术相关方的需求研讨会。
- 创建并维护数据契约,明确数据生产方与使用方之间的数据交换方式。
- 将业务需求转化为用户故事、验收标准、流程、映射、接口规范和工程要求。
- 分析源系统、分析数据概况、评估差距,并将源字段映射到目标结构。
- 将当前采购数据与 OCDS 要求的结构进行比较。
- 促使数据所有者、生产方、使用方、架构师和治理团队达成一致。
- 跟踪需求从数据建模到实施、测试和验收的全过程。
- 评估拟议变更对数据产品、报告、集成和分析用例的影响。
- 协助准备并开展待办事项评审、迭代规划、演示、测试和相关方验收。
- 在规划到实施的各阶段,将 OCDS 应用于采购和公共合同数据。
- 维护 OCDS 发布版本、记录、包、标识符、组织、参与方、项目、里程碑、文件、交易、修订及相关要素的映射。
- 使用 OCDS 架构、代码列表、验证规则和实施指南。
- 识别何时需要 OCDS 扩展,并记录相关假设、规则、映射、例外和扩展内容。
- 根据交易发布记录构建合同记录,并定义修订、更新、取消、更正和历史变更的处理方式。
- 依据 OCDS JSON 架构检查转换后的数据,并修复采购数据中的缺失、无效、不一致或不符合规范之处。
- 支持标准化合同数据的发布、交换、分析或内部使用。
- 使用 Apache Spark、PySpark、Python 和 SQL 构建、测试并维护 Databricks 数据管道。
- 从 JSON、CSV、XML、Parquet、数据库、API 和文件中摄取并转换结构化及半结构化采购数据。
- 采用 Medallion 架构创建 Bronze、Silver 和 Gold 数据层。
- 开发规范化、维度型、分析型及基于 OCDS 的数据模型。
- 使用 Delta Lake 强制执行并演进架构、管理版本、支持审计并可靠地处理数据。
- 创建可复用的方法,将源采购数据转换为兼容 OCDS 的输出。
- 构建批量和增量数据摄取流程。
- 使用适当的 Databricks 工具,包括 Workflows、笔记本、作业、Auto Loader、Delta Live Tables 或 Lakeflow。
- 构建 REST API 连接,以摄取源数据并向下游交付数据。
- 自动执行数据质量、对账、完整性和规范符合性检查。
- 协助实施 Unity Catalog,以管理元数据、所有权、血缘、访问控制和数据发现。
- 改进 Spark 作业、SQL 查询、集群、分区、文件大小和数据布局。
- 参与代码审查、自动化测试、CI/CD、部署、监控和生产支持。
- 诊断管道故障、数据不匹配和性能问题。
- 制定可衡量的数据准确性、完整性、有效性、及时性、一致性和唯一性规则。
- 为 OCDS 字段、标识符、日期、金额、货币、组织、分类和合同关系创建验证控制。
- 构建仪表板或报告,展示数据契约合规情况和数据质量结果。
- 建立检测和管理架构漂移的方法。
- 追踪采购数据经过 Databricks 转换后流向下游产品的数据血缘。
- 与治理团队合作,定义所有者、数据管理员、分类、保留期限和访问策略。
- 按照安全与隐私要求处理敏感采购数据和供应商数据。
- 通过记录规则、版本化映射、验证结果和变更历史来维护审计轨迹。
任职要求
- 计算机科学、信息系统、数据分析、业务分析、工程、公共管理、供应链管理或相关专业的学士学位。
- 至少五年数据工程、数据分析、业务分析或数据集成相关综合经验。
- 具有实施或使用开放合同数据标准(OCDS)的实践经验。
- 具有创建、编写文档、协商或维护数据契约的经验。
- 具有将采购或合同数据映射到 OCDS 架构的经验。
- 熟练掌握 OCDS 发布版本、记录、架构、代码列表、标识符、合同阶段和验证方法。
- 至少三年 Databricks 实际操作经验。
- 精通 Apache Spark、PySpark、Python、SQL、Delta Lake、ETL/ELT 管道、数据建模、JSON 与 JSON Schema、REST API、数据质量验证和源到目标映射。
- 具有收集需求并将其转化为可执行工程规范的经验。
- 能够与技术和非技术合作伙伴清晰沟通。
- 具有编写用户故事、验收标准、业务规则、数据字典、接口规范和流程文档的经验。
- 具备较强的分析、故障排查、协调和文档编写能力。
- 具有在敏捷团队中交付工作的经验。
- 优先:具有政府采购、公共部门合同、拨款、采购管理、供应商或财务数据背景。
- 优先:具有构建 OCDS 扩展或根据组织需求调整 OCDS 的经验。
- 优先:熟悉采购分类、组织标识符、招标、授标、修订、里程碑、交易和合同实施。
- 优先:持有 Databricks Certified Data Engineer Associate 或 Professional 认证。
- 优先:具有以下一项或多项经验:Unity Catalog、Delta Live Tables、Lakeflow、Databricks Workflows、Structured Streaming、云服务、Azure Data Factory、ADLS Gen2、AWS Glue、Amazon S3、Snowflake、dbt、Kafka、Airflow、Power BI、JSON Schema 验证器、自动化数据质量框架、元数据或主数据管理、数据血缘、参考数据治理、CI/CD、Git、Azure DevOps、GitHub Actions、Jenkins 或 Terraform。
- 优先:具有参与大型联邦、州、地方政府或受监管企业数据项目的经验。
- 优先:熟悉联邦采购、采购管理、报告、透明度或开放数据要求。
- 能够参与工程和业务分析讨论。
- 深入理解数据契约以及生产方和使用方的责任。
- 能够将复杂采购流程转化为清晰的数据结构和转换规则。
- 能够谨慎解读架构、代码列表、业务定义和验证要求。
- 具备较强的相关方协调和冲突解决能力。
- 能够在问题导致工程缺陷前发现差距和歧义。
- 重视文档、可追溯性、治理和数据质量。
- 能够在大型多学科 Databricks 团队中有效工作。
福利待遇
- 招聘信息未说明福利、津贴或额外薪酬。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
