高级数据工程师——拉斯孔德斯混合办公
为航空公司构建 GCP 数据管道的高级数据工程师，专注于商业规模下的集成、质量、治理与监控。
描述
- 设计、集成和维护端到端数据流。
- 支持商业团队开展市场预测、报价和销售流程。
- 使用 Google Cloud Platform 套件中的各类组件。
- 参与解决方案设计和组件架构设计。
- 使用 API、Pub/Sub、Storage 和 BigQuery 执行端到端数据集成流程。
- 维护可靠的数据流并执行质量规则。
- 确保符合数据治理和数据目录标准。
- 在 Confluence 中记录流程。
- 与业务利益相关者一起监控和验证数据流。
- 在技术负责人带领的团队中提升效率并贡献想法。
- 参与知名航空公司的高影响力大型项目。
任职要求
- 具备 GCP 套件使用经验，包括 BigQuery、Cloud Storage、Cloud Run 或 Cloud Run Jobs、Cloud SQL、Cloud Scheduler、Dataflow、Vertex AI 和 IAM。
- 具备解决方案和架构设计经验。
- 熟悉 Medallion Architecture。
- 具备使用 Terraform 进行基础设施即代码开发的经验。
- 具备使用 GitLab 和 Git 进行 DevOps 及 CI/CD 的经验。
- 具备端到端数据集成经验。
- 具备 Python 使用经验，包括 Pandas 和 FastAPI。
- 具备高级 SQL 技能。
- 具备 API、服务、Pub/Sub 和 Dataform 使用经验。
- 具备使用分区和聚类优化 BigQuery 的经验。
- 了解数据治理和合规要求，包括 Policy Tags 和 IAM。
- 具备使用 Dataform assertions、Cloud Monitoring 和 Grafana 的经验。
- 具备在 Confluence 中编写技术流程文档的经验。
- 可接受在拉斯孔德斯混合办公，每周两天到现场工作。
福利待遇
- 生日当天休假。
- 提供支持持续学习的课程和认证。
- 每年额外享有五天带薪休假。
- 补充医疗和牙科保险。