高级数据工程师,GCP AI/ML(混合办公)
在富国银行构建安全的 Google Cloud 数据管道和可复用的 AI/ML 基础设施。 支持受治理的分析、模型运营和企业级数据能力建设。
描述
- 构建从本地系统记录库到 Google Cloud 服务的可扩展、安全管道
- 扩展用于数据摄取、转换、质量管理和编排的可复用框架
- 通过标准化模式、模板和沙盒环境,实现受治理的自助式数据访问
- 使用 BigQuery、Dataflow/Apache Beam、Dataproc/Spark、Pub/Sub 和 Cloud Storage 支持模型训练、验证和监控
- 开发标准化特征管道以及具备血缘和数据定义的高可用特征存储
- 通过分区、集群、存储类别和自动扩缩容,优化 GCP 工作负载的成本、性能和可靠性
- 使用 Python、SQL 和 Beam 创建转换库
- 通过 Cloud Composer 或 Cloud Workflows,使用可复用的 DAG、模板和 CI/CD 集成编排工作负载
- 使用 BigQuery 或同类工具实施维度模型、数据仓库模型或规范数据模型及语义层
- 通过标准化指标、验证规则和监控仪表板,建立数据质量、血缘和可观测性
- 与数据科学家及领域解决方案团队合作,将现有模型迁移至 GCP
- 记录模式、运行手册和最佳实践,并通过研讨会和代码示例赋能团队
任职要求
- 至少四年数据工程经验,或具备同等经验、培训经历、军旅经历或教育背景
- 至少四年使用 GCP、AWS 或 Azure 等公有云开发分析或数据科学解决方案的经验
- 至少四年使用 Python 和/或 Go,构建数据管道、库和自动化工具的实践经验
- 至少四年使用 GCP 或 Composer、Airflow、Dataflow、Beam 等同类开源编排工具的经验,并具备使用 Git、Liquibase 和 CI/CD 支持数据工作负载的经验
- 至少两年开发和实施预测性机器学习模型的实践经验,包括回归、分类或预测模型
- 能够在标准工作时间之外提供应用开发和生产支持
- 此职位不提供签证赞助
福利待遇
- 健康福利
- 401(k) 计划
- 带薪休假
- 残障福利
- 人寿、重大疾病和意外保险
- 育儿假
- 重大照护假
- 折扣和储蓄计划
- 通勤福利
- 学费报销
- 受抚养子女奖学金
- 收养费用报销
- 混合办公安排,每周三天到办公室、两天远程办公
