Drimo 高级数据工程师——智利远程办公
为知名航空公司构建端到端 GCP 数据管道的高级数据工程师，职责涵盖集成、数据质量、治理和大规模监控。
描述
- 设计、集成和维护端到端数据管道
- 帮助商业团队预测市场，并支持报价和销售流程
- 使用 GCP 套件中的各类组件
- 参与解决方案设计和组件架构设计
- 使用 API、Pub/Sub、Storage、BigQuery 及其他服务实现端到端数据集成
- 确保数据流可靠，并符合质量规则
- 持续遵循数据治理和编目标准
- 与业务利益相关者一起监控和验证数据管道
- 在技术负责人指导的团队中提升效率并提出改进建议
- 在 Confluence 中记录技术流程
任职要求
- 具备 GCP 套件使用经验，包括 BigQuery、Cloud Storage、Cloud Run 或 Cloud Run Jobs、Cloud SQL、Cloud Scheduler、Dataflow、Vertex AI 和 IAM
- 具备解决方案设计和架构设计经验
- 了解 Medallion Architecture
- 具备使用 Terraform 进行基础设施即代码开发的经验
- 具备使用 GitLab 和 Git 的 DevOps 及 CI/CD 经验
- 具备使用 API、Pub/Sub、Storage、BigQuery 及其他服务进行端到端数据集成的经验
- 具备 Python、Pandas 和 FastAPI 使用经验
- 具备高级 SQL 技能
- 具备 API、服务、Pub/Sub 和 Dataform 使用经验
- 能够使用分区和聚簇优化 BigQuery
- 了解数据治理和合规要求，包括 Policy Tags 和 IAM
- 具备 Dataform assertions、Cloud Monitoring 和 Grafana 使用经验
- 能够在 Confluence 中记录技术流程
福利待遇
- 生日当天可休假一天
- 提供持续学习所需的课程和认证
- 每年额外增加五天年假
- 补充医疗和牙科保险