云工程师 III——Databricks、Snowflake、AWS/GCP(混合办公)
管理支持 FactSet 金融数据和分析产品的 Databricks 与 Snowflake 平台。负责 AWS 和 GCP 基础设施、CI/CD、安全、FinOps、可观测性及灾难恢复。
描述
- 规划并实施跨 AWS 和 GCP 的企业级数据平台
- 推广云原生服务,让工程团队能够使用核心基础设施
- 帮助工程团队采用自动化和高效的发布实践
- 与安全团队合作,加强云服务和数据的保护
- 负责 100 多个项目的 Databricks Unity Catalog 治理,包括计算策略、集群管理员规则和访问控制
- 使用 GitHub Actions 和 CodeBuild 维护并增强 Terraform 与 Databricks Asset Bundles CI/CD 流水线
- 通过基于 Flyway 的迁移工具支持 DDL 和授权管理
- 分析 Databricks DBU 使用量、S3 存储、Snowflake 及相关数据平台的 FinOps
- 参与 AI 工作负载从 AWS 迁移到 GCP 的规划
- 设计并评估面向外部和第三方访问的安全架构
- 构建并运营用于作业和流水线的集中式可观测性工具
- 将工作区重构为与灾难恢复层级相一致的基于目录的架构
- 负责未来在 Databricks 中实施多区域灾难恢复
- 运用 AWS 和 GCP 专业知识配置 Databricks 网络连接,并解决连接性和性能问题
任职要求
- 至少 3 年 AWS 和/或 GCP 公有云实操经验
- 至少 2 年 Databricks 实操经验,包括 Unity Catalog、Delta Lake 和 Databricks Asset Bundles
- 至少 1 年 Snowflake 经验,涵盖数据仓储、访问管理和跨平台集成
- 具备在跨职能技术团队中高效协作的能力
- 具备专业级书面和口头英语能力
- 至少 3 年在云基础设施上支持 Databricks 工作负载的 AWS 和/或 GCP 经验
- 了解云计算技术
- 熟练掌握 Python、Terraform 或 Ansible,包括 Databricks Terraform provider 和 Databricks Asset Bundles
- 具备 Docker、EC2/ASG、无服务器 Lambda 以及 ECS/EKS 经验
- 扎实掌握 VPC、TGW、Direct Connect、ALB/NLB 和 PrivateLink
- 具备管理 Databricks Unity Catalog 治理、访问控制和计算策略的实操经验
- 具备 GitHub Actions 和 AWS CodeBuild 等 CI/CD 工具经验
- 了解生成式 AI 以及 AI/ML 工具和方法,包括 MLflow 和 Model Serving
- 具备用于数据流水线和工作流的可观测性与监控工具经验
- 必须拥有信息或计算机科学、工程或相关 IT 专业学士学位
- 了解 FinOps 原则
- 熟悉 Flyway 或 Liquibase
- 了解身份和访问管理模式,包括 OIDC 身份验证
- 具备多云环境工作经验,尤其是 AWS 和 GCP
