高级资深数据平台工程师,混合办公,加拿大
作为高级资深数据平台工程师,负责引领 Benevity 的 AWS 湖仓、数据管道和受治理数据产品建设。 打造可扩展的技术,支持企业和员工参与社会公益行动。
描述
- 为端到端数据链路提供亲自参与的技术领导
- 设计平台能力,帮助领域工程团队将数据从源端传输到报表端
- 将新数据源和架构变更集成到流式消费管道中
- 推动数据流经奖章架构各层,并定义报表数据产品
- 负责流式和批处理管道、转换模型、湖仓与目录层以及语义层相关工作
- 引领 AWS 湖仓上奖章架构的设计与实施
- 运营并现代化数据仓库环境,同时规划仓库系统与湖仓系统之间的迁移
- 开发配置驱动和元数据驱动的管道
- 在 DataHub 中注册、记录并维护管道、数据集和数据产品的可发现性
- 为数据产品和语义层创建受治理、具备版本控制且经过测试的契约
- 开发用于管道配置、模型、契约、测试和文档编写的 AI 辅助工具
- 与首席架构师合作制定技术战略和可复用的架构模式
- 与产品经理、资深开发人员和利益相关者合作,将业务需求转化为技术规格和数据产品设计
- 应用云原生解决方案设计,在整个技术栈中维护安全最佳实践
- 编写技术文档、架构决策和实施流程
- 交付用于指导技术和产品方向的概念验证
- 指导开发人员,支持协作且包容的团队环境
- 参与架构评审,维护质量、一致性以及与北极星架构的一致
任职要求
- 计算机科学、计算机工程学位,或具备同等专业经验
- 至少 8 年可扩展软件开发经验,包括领导职责、软件设计负责经验,以及在数据平台和数据管道方面的大量实践
- 至少 2 年在可扩展平台、技术转型或现代化计划中负责技术工作的经验
- 出色的沟通能力
- 扎实的软件设计基础
- 具备领域驱动设计、松耦合系统和解耦事件驱动服务经验
- 具备创建可复用抽象和框架的经验
- 拥有涵盖流式和批处理系统的丰富数据工程实践经验
- 具备 Debezium、Kafka 和 Flink 经验,包括架构演进和交付保证权衡
- 具备使用 S3、Apache Iceberg、AWS Glue、Lake Formation 和 dbt 实施湖仓及奖章架构的经验
- 具备大规模运营数据仓库引擎以及使用 Airflow 等声明式、基于资产的编排工具的经验
- 具备 DataHub 或同类元数据、目录和数据血缘平台经验
- 具备在 CI 和运行时自动执行数据契约及架构治理的经验
- 具备为管道和数据产品建立数据质量、可观测性和服务级别的经验
- 具备开发数据产品和语义层的经验
- 具备 Looker 或 LookML 经验;熟悉 dbt Semantic Layer 或 Cube 者优先
- 具备定义面向消费者的数据产品的经验,包括契约、版本控制和弃用路径
- 接触过分析和报表交付
- 拥有丰富的 AWS 云原生基础设施经验
- 熟悉 GCP,包括 BigQuery 和 Looker;具备 Azure 经验者优先
- 精通敏捷、基础设施即代码、DevSecOps、自动化测试,以及 GitHub Actions 或 Jenkins 等 CI/CD 工具
- 具备使用 Cursor 等 AI 驱动、规范驱动和智能体开发工作流的经验
- 有交付高性能、可扩展且具成本效益产品的成功记录
- 具备相关云平台或技术认证者优先
福利待遇
- 灵活的混合办公安排
- 创新性的工作
- 职业成长机会
- 支持且关怀同事
- 以使命为导向的工作
- 员工资源小组
- 对多元、公平、包容与归属感以及包容性工作场所的投入
- 在招聘和评估过程中提供便利支持
