
EXL Databricks 技术负责人 — 金奈,混合办公
领导金融犯罪平台的 Databricks 湖仓工程工作。 构建 Delta Lake 数据管道,并管理开发、测试和生产环境中的 Unity Catalog。
描述
- 构建并维护开发、测试和生产环境中的 Databricks 工作区、集群和计算池。
- 配置 Unity Catalog 治理、访问控制、细粒度权限和数据沿袭。
- 调整集群类型、自动扩缩容以及竞价或可抢占节点,在成本与性能之间取得平衡。
- 使用 Databricks Secrets、Azure Key Vault 或 AWS Secrets Manager 建立工作区结构、访问控制和密钥管理机制。
- 管理 Databricks 作业、工作流和多任务编排,包括依赖关系。
- 设计采用分区和 Z-order 排序的 Delta Lake 表,并使用 OPTIMIZE 和 VACUUM 压缩文件。
- 采用 Medallion Architecture 将结构化数据湖组织为 Bronze、Silver 和 Gold 层。
- 开发 Delta Live Tables 管道,使用声明式 ETL/ELT 和内置数据质量预期规则。
- 处理架构变更、表版本、时间旅行和 Change Data Feed,以支持增量处理。
- 创建将 Delta Lake 与 Kafka、ADLS、S3 和 GCS 连接起来的湖仓模式。
- 为金融犯罪平台构建 Databricks 管道,涵盖 AML、KYC、CRA、制裁筛查、交易监控、欺诈检测和监管报告。
任职要求
- 拥有计算机科学、信息技术、数据工程或相关专业的学士或硕士学位。
- 至少 8 年数据工程或软件工程经验。
- 至少 3 年在生产环境中实际使用 Databricks 的经验。
- 具备扎实的大数据工程、云数据平台和分布式计算基础。
- 深入使用 Databricks Workspaces、Clusters、Jobs、Workflows 和 Repos 的经验。
- 熟练掌握 Unity Catalog,包括元存储设置、目录、架构和表管理、访问控制及数据沿袭。
- 具备开发、监控 Delta Live Tables 管道并设置质量预期的实践经验。
- 深入理解 Delta Lake 内部机制,包括事务日志、ACID 保证、文件布局和优化方法。
- 具备使用 Databricks SQL Warehouses、SQL Analytics 和开发仪表板的经验。
- 了解 Databricks Photon 引擎、无服务器计算和成本优化。





