数据工程师,GCP 数据平台 — Helvetic Payroll
为 Helvetic Payroll 灵活用工解决方案构建可扩展的 Google Cloud 数据平台。 使用 BigQuery、dbt、Terraform、Python 和 CI/CD 开发数据产品。
描述
- 设计基于 BigQuery 和 Cloud Composer 的可扩展 GCP 数据架构。
- 构建并维护可靠、可恢复的 ELT 和 ETL 数据管道。
- 创建适用于分析的 dbt 模型,涵盖暂存层、数据仓库层和数据集市层。
- 建立数据文档、测试和质量控制机制。
- 维护 GitLab CI/CD 工作流、质量关卡以及跨环境发布流程。
- 使用 Terraform 配置云资源、IAM 访问权限和网络依赖项。
- 构建用于数据摄取、编排、质量管理和自动化的 Python 工具。
- 通过监控、事件响应、成本控制和性能调优保障生产系统运行。
- 与分析工程师、AI 工程师及业务相关方协作,将需求转化为可靠的数据产品。
任职要求
- 具备在 GCP 上交付数据工程解决方案的经验,尤其熟悉 BigQuery 及相关服务。
- 具备扎实的 SQL 技能,能够进行数据建模、性能调优、分区和聚簇设置。
- 具备 dbt 实操经验,涵盖项目结构、宏、测试、文档和部署。
- 有使用 Airflow、Cloud Composer、Dagster 或 Prefect 等编排平台的经验。
- 熟悉 GitLab CI/CD 和协作式 Git 实践,包括代码审查、分支管理和发布。
- 具备 Terraform 实践经验,包括模块开发或使用以及多环境管理。
- 了解 IAM、最小权限访问、群组权限和服务账号。
- 熟练使用 Python,包括编写整洁代码、基础打包、测试和 API 集成。
- 注重生产环境中的可观测性、可靠性、安全性和可维护性。
- 有使用 Monte Carlo 等数据可观测性产品或自定义监控的经验者优先。
- 熟悉 Airbyte 或 Fivetran 等数据集成平台者优先。
福利待遇
- 可续签的六个月合同。
- 混合办公安排。
- 参与现代化、灵活用工解决方案的工作。
- 有机会积累分析、可观测性和生产工程方面的经验。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
