Itix 中级数据工程师（远程，巴西）
加入 Itix，构建 Lakehouse 数据管道和 RAG 解决方案。 使用 Databricks、Delta Lake、嵌入、数据质量与治理技术。
描述
- 在 Databricks 或开源框架中，基于 Delta Lake 的奖牌式架构构建 ETL/ELT 管道
- 处理并标准化 PDF 和图像数据及其相关元数据
- 根据巴西 LGPD 规定整理和匿名化数据，用于 RAG、少样本学习和测试数据集
- 开发和维护向量索引，包括分块、嵌入、增量更新和版本控制
- 创建带版本控制的黄金数据集，用于准确性测量和基准测试
- 设计反馈闭环持久化机制，并向质量与 SLA 仪表板提供数据
- 连接数据库、推理服务和外部 API，同时管理性能、成本、监控和告警
- 通过 Jobs、CI/CD 管道和数据质量测试实现工作流自动化
任职要求
- 精通 Python 和 SQL
- 具备数据建模以及奖牌式架构或 Lakehouse 架构经验
- 具备构建 PDF、图像和文本等非结构化数据管道的经验，包括为 RAG 准备数据
- 熟悉向量数据库和嵌入技术，例如 Databricks Vector Search 或 pgvector
- 具备数据质量、测试和版本控制经验
- 具备实际 Databricks 使用经验，包括 Delta Lake、Workflows 或 Jobs、笔记本、PySpark 和 Spark SQL
- 具备 Git 和 CI/CD 经验
- 具备 Azure、AWS 或 GCP 工作经验
- 了解 LGPD 和敏感数据处理
- 具备受治理环境中的 Unity Catalog 使用经验
- 具备 MLflow、Databricks Model Serving 或 Mosaic AI 经验
- 具备 Delta Live Tables 或 Lakeflow 以及 Auto Loader 经验
- 具备保险或金融服务行业经验
- 具备 Terraform 或 Databricks Asset Bundles 经验
- 持有 Databricks Data Engineer Associate 或 Professional 认证
福利待遇
- 可灵活选择最适合项目的工作地点
- 折扣合作福利
- 员工推荐奖励计划
- 生日休假
- 可使用 TotalPass 或 Gympass
- 健康与身心 wellness 项目
- 可使用配备懒人沙发、台球桌、电子游戏、休息区、设施齐全的厨房和咖啡的办公室休闲空间