Grupo EASY
Grupo EASY
11 – 50 员工
B2B咨询
Grupo EASY 是一家商业咨询公司,专注于帮助组织改善团队的工作方式和绩效表现。公司结合咨询服务、能力建设和切实可行的组织解决方案,帮助应对组织层面的问题,并支持团队成果的持续提升。

高级数据工程师(Google Cloud)— Grupo EASY,巴西远程

为 Grupo EASY 构建可扩展的 Google Cloud 数据管道,整合 Oracle、SQL Server 和 AWS 数据源。 在 BigQuery 中构建面向业务分析的数据模型。

描述

  • 在 Google Cloud 上构建并优化批处理和流式数据管道。
  • 创建并维护可靠、可扩展的数据工程解决方案。
  • 整合 Oracle(OCI)、本地部署的 SQL Server 和 AWS S3 数据。
  • 维护数据质量、可扩展性、监控和治理。
  • 降低存储和处理成本。
  • 为数据科学和数据分析团队准备可供业务使用的数据。
  • 使用 Dataflow 提取并转换 Oracle 和 SQL Server 数据,然后加载到 BigQuery。
  • 将 BigQuery 分析模型组织为 Raw、Bronze、Silver 和 Gold 层。
  • 设置 Cloud Composer 工作流,支持按序运行、监控和故障处理。
  • 使用 Dataplex 和/或 Data Catalog 编目表、元数据和数据资产。

任职要求

  • 具备丰富的 Google Cloud Platform(GCP)经验。
  • 拥有 3–5 年专业工作经验。
  • 熟练使用 Python。
  • 具备高级 SQL 技能,包括 BigQuery。
  • 具备 Git 版本控制和 CI/CD 经验。
  • 具备 BigQuery、Dataflow、Dataproc 和 Pub/Sub 经验。
  • 具备构建批处理和实时 ETL/ELT 管道的经验。
  • 具备通过 JDBC 或定制解决方案整合 Oracle、SQL Server 和 MySQL 的经验。
  • 具备 Cloud Storage 和数据湖经验。
  • 了解 BigQuery 分区和聚簇。
  • 了解 Dataproc(Spark/Hadoop)以及 Bigtable、Firestore 等 NoSQL 数据库。
  • 具备 dbt 或 Dataform 经验。
  • 具备 Cloud Composer(Airflow)或 Workflows 经验。
  • 了解 Cloud Functions 和 Cloud Run。
  • 优先考虑拥有学士学位者。
  • 具备医疗保健或医院信息系统方面的经验或知识者优先。

福利待遇

  • 全职聘用。
  • 参与具有挑战性和创新性的项目。
  • 加入技能精湛的团队。
  • 协作型文化,支持持续学习。
  • 拥有职业发展机会。

相关职位