高级数据工程经理（GCP 云）
为 Naveera Technology 的全球工程客户牵头 AWS 迁移至 GCP，并负责云数据平台架构。指导团队开展数据治理、流处理、分析和云现代化工作。
描述
- 在 GCP 上构建可扩展的企业数据平台
- 使用 Google Cloud Storage 和 BigQuery 设计数据湖与湖仓架构
- 定义 Bronze、Silver、Gold/Atomic 数据层
- 牵头将企业数据平台从 AWS 迁移至 GCP
- 评估 AWS 架构、数据管道、工作负载、依赖关系和运营流程
- 制定目标 GCP 架构以及迁移计划、阶段安排、依赖关系、风险和回滚策略
- 主持架构评审和技术设计讨论
- 使用 Pub/Sub、Dataflow/Apache Beam、BigQuery 和 Cloud Storage 设计实时数据管道
- 设计高吞吐量事件接入、丰富和转换管道
- 使用 Python、PySpark、SQL、Dataflow/Apache Beam、BigQuery 和 dbt 开发可扩展的批处理与实时 ETL/ELT 管道
- 使用 Cloud Composer/Airflow 构建编排工作流
- 设计用于分析和报表的企业数据模型
- 优化 BigQuery 分区、聚簇、SQL 和查询性能
- 制定数据治理、质量、血缘、元数据、所有权和安全标准
- 实施 IAM、最小权限访问、加密、服务账号、网络安全和数据访问策略
- 牵头使用 Terraform 实现基础设施自动化，并实施 CI/CD 管道
- 提升 BigQuery、Dataflow、Spark、Cloud Storage 和流处理工作负载的性能并控制成本
- 领导并指导数据工程师、高级数据工程师和技术负责人
- 确定技术方向，评审架构和代码，并制定路线图及工程优先事项
- 跟踪工程进度、风险、依赖关系和交付里程碑
- 担任面向美国利益相关方的主要技术联系人
- 与业务、产品、数据科学、BI 和 DevOps 团队协作
- 将业务需求转化为可扩展的技术方案，并沟通风险、时间安排和权衡
任职要求
- 至少 15 年数据工程、数据架构或云工程经验
- 至少 5 年 GCP 数据工程实操经验
- 至少 3 年参与 AWS 迁移至 GCP 项目的经验
- 具备扎实的企业数据湖和湖仓平台设计背景
- 有将 AWS 数据工作负载迁移至 GCP 的经验
- 深入理解 AWS 与 GCP 服务映射及云迁移模式
- 精通 SQL，熟练掌握 Python/PySpark
- 具备扎实的数据建模和数据仓库经验
- 具备 Terraform 和 CI/CD 经验
- 具备管理和指导数据工程团队的经验
- 沟通能力强，并有与美国利益相关方合作的经验
- 熟悉 Amazon S3、AWS Glue、AWS Glue Data Quality、Amazon Redshift/Redshift Serverless、Amazon Athena、AWS Step Functions、AWS DMS、AWS Lake Formation 和 IAM
- 熟悉 BigQuery、Google Cloud Storage、Pub/Sub、Dataflow/Apache Beam、Cloud Composer/Airflow、Dataproc/Spark、Cloud Monitoring、Cloud Logging 和 Dataplex/Data Catalog
- 具备 ETL/ELT、CDC、批处理与流处理、事件驱动架构及数据管道优化经验
福利待遇
- 灵活的远程办公方式
- 与全球企业客户合作
- 注重创新、协作的工程文化
- 持续学习和认证机会
