资深 Databricks 平台工程师
为一家全球保险与资产管理公司构建并运营安全的 Databricks 平台。 工作涵盖云基础设施、治理、可靠性和 AI 工作负载。
描述
- 在多个云环境中设计并运营企业级 Databricks 平台。
- 在 Azure 和/或 AWS 上部署 Databricks 工作区、集群及平台组件。
- 维护可扩展、安全且高可用的 Databricks 环境。
- 制定平台标准、架构模式和运营实践。
- 管理 Unity Catalog、Delta Lake 和工作区治理。
- 负责平台生命周期管理、升级和容量规划。
- 使用 Terraform 配置基础设施，并自动化部署与配置管理。
- 设计网络、私有连接和安全集成方案。
- 实施备份、灾难恢复和高可用方案。
- 提升云资源利用率并管理平台成本。
- 落实企业安全控制和合规要求。
- 配置基于角色的访问控制和最小权限模型。
- 管理密钥、密钥库集成和加密标准。
- 设置监控、审计日志和治理控制。
- 支持监管与安全审计。
- 监控平台运行状况、可用性和性能。
- 为基础设施和数据工作负载构建可观测性。
- 排查平台、网络和工作负载问题。
- 编写运维手册并建立支持流程。
- 牵头根因分析和问题修复。
- 与数据、AI 和云基础设施团队协作。
- 为平台架构和卓越运营提供建议。
- 制定工程标准并创建可复用的自动化模式。
- 指导工程师并推广云工程实践。
- 支持 Databricks AI 和机器学习环境。
- 支持 MLflow 实验、模型跟踪和部署。
- 支持 Mosaic AI、Vector Search、Feature Store 和 RAG 架构。
- 协助团队构建生成式 AI 和大型语言模型解决方案。
- 为 AI 工作负载开发基础设施和治理方案。
- 评估 Databricks AI 的新功能并提出采用建议。
任职要求
- 计算机科学、信息技术、工程或相关专业的学士学位。
- 至少五年云、平台或基础设施工程经验。
- 至少三年部署和管理 Databricks 环境的实际经验。
- 具备支持 Azure 和/或 AWS 企业云平台的经验。
- 具备设计安全、可扩展且高可用云解决方案的经验。
- 掌握 Databricks 管理、Unity Catalog、Delta Lake、工作区管理、集群配置与优化、工作流和作业调度。
- 了解 Microsoft Azure 和 Amazon Web Services (AWS)。
- 具备 Terraform 经验。
- 具备 Azure DevOps 或 GitHub Actions 经验。
- 具备 CI/CD 流水线经验。
- 具备 PowerShell、Python 或 Bash 脚本编写能力。
- 了解 RBAC、私有终结点、VNET/VPC 设计、加密与密钥管理、身份联合和密钥管理。
- 具备 Databricks 监控、Azure Monitor、CloudWatch、Log Analytics、性能调优和容量管理经验。
- 优先考虑持有 Databricks Certified Platform Administrator、Databricks Certified Data Engineer Professional、Azure Administrator Associate、Azure Solutions Architect 或 AWS Solutions Architect 认证者。
- 优先考虑具备企业 AI 和机器学习平台实施经验者。
- 优先考虑具备保险或金融服务等受监管行业支持经验者。
- 希望熟悉 Mosaic AI、MLflow、Databricks Model Serving、Vector Search、Feature Store、RAG、大型语言模型、AI 治理与负责任 AI 实践，以及 AI 赋能的数据工程模式。
福利待遇
- 承包商合作模式（PJ）。
- 混合办公，每周三天到圣保罗 Pinheiros 办公室现场工作。
