高级 Google Cloud 数据工程师
为一家建材公司构建集中式 Google Cloud 数据中心,开发数据管道并应用奖章架构。
描述
- 从 ERP、质量与生产系统、门户网站、电子表格及其他来源创建并维护数据接入管道。
- 使用 Apache Airflow 编排数据提取、调度和故障处理。
- 应用奖章架构的 Bronze、Silver 和 Gold 层,将原始数据存储在 Cloud Storage 中,并在 BigQuery 中进行建模。
- 对业务实体和共享主数据进行建模,包括客户、产品和第三方。
- 支持仪表板所使用的语义层。
- 将数据中心的数据与源系统进行核对,以保持数据质量和一致性。
- 准备 Gold 层实体,供 AI 和机器学习模型使用。
- 对代码进行版本管理,并管理开发、预发布和生产环境中的部署。
- 监控管道运行并解决故障,力求实现无需人工干预的运维。
- 编写数据管道、数据模型和技术决策的文档。
- 在最终交付期间协助培训客户团队。
- 参加每周评审,并与业务团队验证交付成果。
- 与架构和数据科学同事组成跨学科团队,为一家大型建材公司构建集中式 Google Cloud 数据中心。
任职要求
- 至少 5 年云数据项目数据工程师经验。
- 至少 3 年 Google Cloud 经验,尤其是 BigQuery 和 Cloud Storage。
- 至少 3 年使用 Apache Airflow 编排数据管道的经验。
- 具备扎实的 SQL 技能和分析型数据建模专长,且至少有 5 年相关经验。
- 至少 4 年使用 Python 构建数据管道的经验。
- 了解奖章架构及其 Bronze、Silver 和 Gold 层。
- 有整合多种来源数据的经验,包括 ERP、API、文件和电子表格。
- 有版本控制以及跨环境部署代码的经验。
- 持有 Google Cloud 认证者优先。
- 有从企业 ERP 系统提取数据的经验者优先。
- 了解税务、财务或工业数据者优先。
- 有为机器学习模型准备数据的经验者优先。
- 有咨询项目经验者优先。
- 必须具备 Google Cloud(BigQuery 和 Cloud Storage)、Apache Airflow、SQL 和 Python 的实操经验。
福利待遇
- 持续的职业发展机会。
- 远程办公。
- 重视残障包容,也欢迎残障候选人申请。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
