GCP 数据工程师（远程，巴西）
为 EVT 这家企业 IT 解决方案公司在 Google Cloud 上构建批处理和流式数据管道。负责数据开发、编排、治理，并在国际化环境中开展协作。
描述
- 在 Google Cloud 上构建和运营批处理及流式数据管道。
- 将业务需求转化为切实可行的技术数据解决方案。
- 使用 Dataflow、Dataform、Pub/Sub、Cloud Storage 和 BigQuery 创建数据管道。
- 通过 Cloud Composer 和 Airflow 管理工作流编排。
- 负责数据建模、测试、治理、安全和可观测性。
- 从初始开发到部署及解决方案文档编写，负责交付全流程。
- 与技术、业务及国际利益相关方团队合作。
任职要求
- 具备高级英语水平，能够与巴西以外地区的团队沟通。
- 能够按照美国东部标准时间（EST）工作。
- 具备使用 GCP 开展数据工程的生产环境经验。
- 具备 Dataflow、Dataform、Pub/Sub、Cloud Storage 和 BigQuery 的实操经验。
- 精通 BigQuery，包括分区、聚类、性能调优和成本优化。
- 具备使用 Cloud Composer 或 Airflow 编排数据管道的经验。
- 了解数据建模、数据仓库、星型模式、雪花模式、SCD 和奖章式架构。
- 具备 Python、Git、代码审查、Docker 和 CI/CD 经验，有 Cloud Build 经验者优先。
- 了解 GCP 数据治理、安全和可观测性，包括 Dataplex、IAM 和 PII 保护。
- 具备自动化测试经验，最好使用 pytest，并了解数据质量实践。
- 持有 Google Professional Data Engineer 认证者优先。
- 了解 BigLake、Apache Iceberg 和数据湖仓架构者优先。
- 具备 Data Mesh 和数据产品经验者优先。
- 了解 SAP ECC、BW 或 S/4HANA 者优先。
- 了解数据契约、模式演进和可观测性者优先。
- 具备生成式 AI 和 Vertex AI 经验者优先。
- 具备知识传递和技术培训经验者优先。
- 具备面向技术和非技术受众的出色沟通能力。
- 能够将业务需求转化为技术解决方案。
- 能够以协作方式跨部门、跨团队工作。
- 具备较强的组织能力，能够做好文档编写、交付跟踪和部署。
- 能够在国际化环境中工作并日常使用英语。
福利待遇
- 可参加包括 Udemy 在内的学习激励项目。
- 价格实惠的企业英语课程。