
高级数据工程师(Google Cloud)— Grupo EASY,巴西远程
为 Grupo EASY 构建可扩展的 Google Cloud 数据管道,整合 Oracle、SQL Server 和 AWS 数据源。 在 BigQuery 中构建面向业务分析的数据模型。
描述
- 在 Google Cloud 上构建并优化批处理和流式数据管道。
- 创建并维护可靠、可扩展的数据工程解决方案。
- 整合 Oracle(OCI)、本地部署的 SQL Server 和 AWS S3 数据。
- 维护数据质量、可扩展性、监控和治理。
- 降低存储和处理成本。
- 为数据科学和数据分析团队准备可供业务使用的数据。
- 使用 Dataflow 提取并转换 Oracle 和 SQL Server 数据,然后加载到 BigQuery。
- 将 BigQuery 分析模型组织为 Raw、Bronze、Silver 和 Gold 层。
- 设置 Cloud Composer 工作流,支持按序运行、监控和故障处理。
- 使用 Dataplex 和/或 Data Catalog 编目表、元数据和数据资产。
任职要求
- 具备丰富的 Google Cloud Platform(GCP)经验。
- 拥有 3–5 年专业工作经验。
- 熟练使用 Python。
- 具备高级 SQL 技能,包括 BigQuery。
- 具备 Git 版本控制和 CI/CD 经验。
- 具备 BigQuery、Dataflow、Dataproc 和 Pub/Sub 经验。
- 具备构建批处理和实时 ETL/ELT 管道的经验。
- 具备通过 JDBC 或定制解决方案整合 Oracle、SQL Server 和 MySQL 的经验。
- 具备 Cloud Storage 和数据湖经验。
- 了解 BigQuery 分区和聚簇。
- 了解 Dataproc(Spark/Hadoop)以及 Bigtable、Firestore 等 NoSQL 数据库。
- 具备 dbt 或 Dataform 经验。
- 具备 Cloud Composer(Airflow)或 Workflows 经验。
- 了解 Cloud Functions 和 Cloud Run。
- 优先考虑拥有学士学位者。
- 具备医疗保健或医院信息系统方面的经验或知识者优先。
福利待遇
- 全职聘用。
- 参与具有挑战性和创新性的项目。
- 加入技能精湛的团队。
- 协作型文化,支持持续学习。
- 拥有职业发展机会。



