高级 Databricks 数据工程师（AI 平台）
为一家全球保险与资产管理公司构建 Databricks 和云数据平台。 支持受治理的分析、机器学习及生成式 AI 解决方案。
描述
- 使用 Databricks、Spark、Python 和 SQL 构建并维护可扩展的数据管道与数据产品。
- 创建并改进企业内部及第三方数据源之间的批处理、流处理和实时集成。
- 采用 Delta Lake 和 Medallion 模式实施 Databricks Lakehouse 架构。
- 交付用于分析、预测建模、机器学习和生成式 AI 的数据产品。
- 与数据科学家和 AI 工程师合作，为 AI 和机器学习应用场景准备、转换并治理数据。
- 创建特征工程管道，并支持机器学习生命周期流程。
- 构建用于 RAG、向量与语义搜索以及大语言模型应用的数据解决方案。
- 优化 Spark 作业、SQL 工作负载和数据框架，提升性能、扩展能力和成本效率。
- 建立数据质量、可观测性、血缘、治理和监控能力。
- 遵守数据隐私、安全和负责任 AI 标准。
- 支持数据平台中的 CI/CD、基础设施即代码和 DataOps。
- 指导初级工程师并强化良好的工程实践。
- 与数据科学家、AI 工程师、架构师和业务相关方合作，交付可信且受治理的数据产品。
- 通过稳健、安全且受治理的数据平台支持企业 AI 和生成式 AI 项目。
任职要求
- 计算机科学、信息系统、工程、数学或相关专业的学士学位。
- 至少 7 年数据工程、ETL 开发或大型数据平台相关经验。
- 至少 3 年 Databricks 和 Apache Spark 实践经验。
- 具备扎实的 Python 和 SQL 技能，并有分布式数据处理经验。
- 具备构建云数据湖、数据仓库和 Lakehouse 架构的经验。
- 有支持 AI、机器学习或高级分析项目的经验。
- 了解数据建模、治理和企业数据管理。
- 有在 AWS、Azure 或 Google Cloud 上构建和调优大规模数据管道的经验。
- 有 Databricks Delta Lake、Unity Catalog、Delta Live Tables、MLflow、Mosaic AI 和 Databricks Workflows 的经验。
- 具备生成式 AI、大语言模型、RAG、向量数据库或 AI 驱动应用的实践经验。
- 熟悉 LangChain、Semantic Kernel、OpenAI API、Hugging Face 或同类工具。
- 有特征存储、模型训练管道和 MLOps 经验。
- 有 Kafka、Event Hub 或其他流处理技术经验。
- 优先考虑持有 Databricks Certified Data Engineer Professional 认证或同等云认证者。
- 精通 Databricks 平台工程。
- 具备 Apache Spark 开发经验。
- 具备 AI 和机器学习数据工程专长。
- 具备生成式 AI 数据解决方案经验。
- 具备 Lakehouse 架构经验。
- 精通数据建模和数据仓库。
- 精通数据治理和安全。
- 具备数据可观测性和可靠性工程经验。
- 具备 AWS 或 Azure 云数据平台经验。
- 具备 DataOps、CI/CD 和自动化经验。
- 具备技术领导和指导他人的经验。
福利待遇
- 以独立承包商（PJ）身份合作。
- 采用混合办公安排，每周有三天在圣保罗 Pinheiros 办公室现场办公。
