高级数据工程师，GCP 财务数据管道
构建可审计的 Google Cloud 财务、计费与开票数据管道。 运用 BigQuery、Python、SQL 和数据质量控制，支持准确对账。
描述
- 构建并维护用于财务和计费数据的 GCP 摄取管道。
- 使用嵌套 ARRAY/STRUCT 表、分区和聚簇开发 BigQuery 模型。
- 在源数据、暂存层和输出层之间添加对账检查。
- 验证传入文件，并隔离无效或不完整的数据。
- 创建可安全重复运行且不会产生重复或数据损坏的幂等管道。
- 使用仅追加表和视图作为检查手段，以支持可审计性。
- 使用 BigQuery NUMERIC 类型和恰当的舍入方式处理货币金额。
- 管理具有生效日期的参考数据，包括费率、映射关系和客户属性。
- 追踪从输出回溯至源数据的数据血缘。
- 使用 pydantic 和 pytest 编写类型明确、易维护且经过充分测试的 Python 代码。
- 开发并调优用于转换、对账和报告的高级 SQL。
- 与工程、分析和财务相关方合作，将业务规则转化为可靠的数据逻辑。
- 指导同事，并协助建立数据工程标准与实践。
任职要求
- 至少六年数据工程经验。
- 具备构建财务或计费管道的实绩，且要求每笔金额都能对平。
- 具备扎实的 Python 技能，包括 pydantic、类型化代码和 pytest。
- 具备高级 SQL 技能，包括复杂联接、窗口函数和性能调优。
- 深入掌握 Google BigQuery，包括嵌套 ARRAY/STRUCT 表、分区和聚簇。
- 具备使用 NUMERIC 数据类型准确处理货币金额的经验。
- 具备设计仅追加表并使用视图检查数据的经验。
- 深入了解数据质量实践，包括对账检查、文件验证和隔离处理。
- 具备构建可安全重复运行的幂等管道的经验。
- 具备实施数据血缘追踪并管理具有生效日期的参考数据的经验。
- 具备开票经验，涵盖贷项通知单、重新开票、外汇换算和月末结账。
- 具备在受监管或需审计环境中与财务或计费团队合作的经验。
- 具备使用其他 GCP 服务的经验，例如 Cloud Storage、Cloud Run 或 Firestore。
福利待遇
- 根据经验提供具有竞争力的薪酬。
- 依法提供政府规定的福利。
- 补充 HMO 医疗保障。
- 协作、专业的工作环境。
- 在发展中的组织获得职业成长机会。
- 在适用情况下采用混合办公或远程办公安排。
- 提供支持员工发展和职业进阶的培训。