高级数据工程师，Databricks 与 AI 数据平台
为一家全球保险和资产管理公司主导 Databricks 数据平台的设计。支持云分析、人工智能与机器学习、治理及企业现代化。
描述
- 使用 Databricks、Spark 和云技术设计并维护可扩展的数据管道。
- 构建并优化批量和实时数据摄取框架。
- 为企业级数据解决方案创建可复用的工程模式和加速工具。
- 在整个数据生态系统中实施数据质量、可观测性、血缘追踪和治理。
- 支持大规模数据现代化和云迁移项目。
- 设计 Delta Lake 架构和 Medallion 数据模型。
- 使用 Databricks 笔记本、工作流和 Delta Live Tables 开发经过优化的 ETL 与 ELT 管道。
- 制定性能调优、成本优化和工作负载管理实践。
- 使用 Unity Catalog 管理数据治理、安全和元数据。
- 为 Databricks 部署实施 CI/CD 管道和基础设施即代码。
- 为 Azure 和 AWS 设计云原生数据架构。
- 集成 SQL Server、Oracle、API、SaaS 和流处理平台等企业数据源。
- 构建具备高可用性和灾难恢复能力的韧性安全数据服务。
- 与基础设施和安全团队合作，落实云安全控制和合规标准。
- 为人工智能、机器学习和生成式人工智能工作负载构建并优化数据产品。
- 开发特征工程管道和经过整理的数据集，以支持模型训练和推理。
- 支持向量数据库、语义搜索、检索增强生成和大型语言模型应用。
- 与数据科学家和 AI 工程师合作，推动机器学习解决方案投入运行。
- 应用 MLOps 和 DataOps 实践，支持可扩展的 AI 交付。
- 主导复杂的数据工程项目。
- 制定架构标准、工程实践和开发规范。
- 指导初级和中级工程师。
- 评审架构并提供技术建议。
- 推动自动化、可观测性和平台工程实践。
任职要求
- 计算机科学、信息技术、工程或相关领域的学士学位。
- 至少 8 年数据工程、数据仓库或数据平台开发经验。
- 至少 5 年 Databricks 和 Apache Spark 实际操作经验。
- 具备设计和实施企业级云数据平台的经验。
- 具备主导技术项目并指导工程团队的经验。
- 具备 Databricks、Apache Spark（PySpark 和 Spark SQL）、Delta Lake、Delta Live Tables、Unity Catalog、数据仓库和数据建模经验。
- 具备 Python、SQL 以及 PowerShell 或脚本自动化经验。
- 具备 Microsoft Azure、AWS 及云原生存储和计算服务经验。
- 具备 SQL Server、Oracle、PostgreSQL 和数据库相关经验。
- 具备 Azure Data Factory、Databricks Workflows、Kafka 或事件流处理以及 REST API 经验。
- 具备 GitHub、Azure DevOps、CI/CD 管道、Terraform 和基础设施即代码经验。
- 了解监控和告警工具、数据质量框架、性能优化、日志记录和故障排查。
- 了解机器学习数据管道、特征存储、MLOps、生成式人工智能概念、向量数据库、检索增强生成、AI 治理和负责任人工智能原则。
- 优先考虑持有以下认证者：Databricks Certified Data Engineer Professional、Azure Data Engineer Associate 或 AWS Data Analytics。
- 优先考虑具备受监管行业、企业数据治理项目和生产环境 AI 集成经验者。
- 具备战略思维、问题解决能力、技术领导力、架构设计、利益相关方管理、沟通与演示能力、持续改进意识、创新和 AI 应用意识，以及风险与合规意识。
福利待遇
- 合作形式：独立承包商（Pessoa Jurídica，PJ）。
- 混合办公，可选择部分时间远程工作。