高级数据工程师 - 班加罗尔，印度（现场办公）
为沃尔玛的支付后审计运营构建可扩展的批处理与流式处理管道及生成式人工智能数据产品。 提升支付准确性、对账、回收流程和财务分析能力。
描述
- 为支付后审计、支付完整性、供应商对账、回收运营和财务分析构建并维护可扩展的批处理、流式处理及近实时数据管道。
- 基于发票、采购订单、收货、供应商、索赔、定价和支付系统，开发经过整理的数据集、语义模型、可用于特征工程的表以及可复用的数据产品。
- 使用 SQL、Python、PySpark、Apache Flink、dbt、编排工具、事件流平台和云数据技术创建 ELT、ETL 及流式处理工作流。
- 开发流式处理和变更数据捕获管道，实现事件时间处理、迟到数据处理、可重放性、幂等性、回填和故障恢复。
- 使用 Apache Hudi、Apache Iceberg 或 Delta Lake 设计并运营湖仓数据产品。
- 建立数据质量检查、对账控制、模式验证、数据血缘、监控、告警和可观测性实践。
- 与财务、审计、运营、产品、数据科学和工程团队合作，交付可投入生产的数据解决方案。
- 支持异常检测、例外优先级排序、审计规则、机器学习评分和生成式人工智能工作流。
- 创建自动化和数据服务，帮助审计团队汇总证据、分流例外、提供调查背景并减少人工审核。
- 实施生成式人工智能数据工程模式，例如支持检索的文档存储、嵌入向量管道、向量数据库集成、元数据丰富和受治理的知识检索。
- 提升批处理和流式处理工作负载的可靠性、数据新鲜度、延迟、状态管理、计算效率和下游可用性。
- 通过根因分析调查数据差异、管道故障、对账不匹配和源系统问题。
任职要求
- 计算机科学、工程、信息技术、数据工程、分析、数学、统计学或相关专业学士学位，并具有 6 年以上相关经验；或者具有硕士学位并拥有 4 年以上相关经验，或具有博士学位并拥有 3 年以上相关经验。
- 具备 SQL、Python、PySpark、Apache Flink 或同类流处理框架，以及大规模分布式数据处理方面的实际操作能力。
- 具备 dbt 或同类转换框架、Airflow 或类似编排工具、Kafka 或同类事件流平台，以及 BigQuery、Hive 或 Spark 等云端或企业级数据技术经验。
- 拥有设计、部署和支持生产级批处理与流式处理管道、ELT/ETL 工作流、数据模型和可复用数据产品的经历。
- 扎实掌握数据建模、分区、性能调优、增量处理、CDC、模式演进、数据契约、元数据管理、数据血缘以及包括 Apache Hudi、Apache Iceberg 或 Delta Lake 在内的湖仓格式。
- 具备为生产级管道交付数据质量检查、对账逻辑、验证框架、可观测性、监控、告警和事件解决方案的经验。
- 具备使用事件时间处理、有状态转换、检查点、水位线、精确一次或有效一次处理，以及重放或回填策略开发流式解决方案的经验。
- 具备处理来自多个源系统的大型结构化和半结构化数据集的经验，包括业务定义不一致的运营数据。
- 具备出色的协作能力，能够跨财务、审计、运营、产品、数据科学和工程团队开展工作。
- 最低资格要求的替代方案包括：计算机科学学士学位并具有 3 年软件工程或相关经验；5 年软件工程或相关经验；或计算机科学硕士学位并具有 1 年软件工程或相关经验。
- 至少 2 年数据工程、数据库工程、商业智能或商业分析经验。
福利待遇
- 基于绩效的激励奖励。
- 产假和育儿假。
- 带薪休假。
- 健康福利。