EXL
EXL
EXL 是一家商业咨询与服务公司,帮助组织运用数据、分析和技术改善运营并做出更明智的决策。其业务涵盖运营管理、决策分析和数字化转型,并拥有为医疗保健、保险、金融和物流行业客户提供支持的经验。EXL 将数据科学与务实的业务专业知识相结合,根据每个组织的目标、运营模式和行业背景,制定量身定制的解决方案。

EXL Databricks 技术负责人 — 金奈,混合办公

领导金融犯罪平台的 Databricks 湖仓工程工作。 构建 Delta Lake 数据管道,并管理开发、测试和生产环境中的 Unity Catalog。

描述

  • 构建并维护开发、测试和生产环境中的 Databricks 工作区、集群和计算池。
  • 配置 Unity Catalog 治理、访问控制、细粒度权限和数据沿袭。
  • 调整集群类型、自动扩缩容以及竞价或可抢占节点,在成本与性能之间取得平衡。
  • 使用 Databricks Secrets、Azure Key Vault 或 AWS Secrets Manager 建立工作区结构、访问控制和密钥管理机制。
  • 管理 Databricks 作业、工作流和多任务编排,包括依赖关系。
  • 设计采用分区和 Z-order 排序的 Delta Lake 表,并使用 OPTIMIZE 和 VACUUM 压缩文件。
  • 采用 Medallion Architecture 将结构化数据湖组织为 Bronze、Silver 和 Gold 层。
  • 开发 Delta Live Tables 管道,使用声明式 ETL/ELT 和内置数据质量预期规则。
  • 处理架构变更、表版本、时间旅行和 Change Data Feed,以支持增量处理。
  • 创建将 Delta Lake 与 Kafka、ADLS、S3 和 GCS 连接起来的湖仓模式。
  • 为金融犯罪平台构建 Databricks 管道,涵盖 AML、KYC、CRA、制裁筛查、交易监控、欺诈检测和监管报告。

任职要求

  • 拥有计算机科学、信息技术、数据工程或相关专业的学士或硕士学位。
  • 至少 8 年数据工程或软件工程经验。
  • 至少 3 年在生产环境中实际使用 Databricks 的经验。
  • 具备扎实的大数据工程、云数据平台和分布式计算基础。
  • 深入使用 Databricks Workspaces、Clusters、Jobs、Workflows 和 Repos 的经验。
  • 熟练掌握 Unity Catalog,包括元存储设置、目录、架构和表管理、访问控制及数据沿袭。
  • 具备开发、监控 Delta Live Tables 管道并设置质量预期的实践经验。
  • 深入理解 Delta Lake 内部机制,包括事务日志、ACID 保证、文件布局和优化方法。
  • 具备使用 Databricks SQL Warehouses、SQL Analytics 和开发仪表板的经验。
  • 了解 Databricks Photon 引擎、无服务器计算和成本优化。

相关职位

Weekday

高级全栈 Java 工程经理

Weekday
501 – 1,000 员工
时尚电子商务零售

带领工程团队构建可扩展的 Java 与 Spring Boot 服务及现代前端应用。 负责架构、可靠性、人才指导与交付,服务于软件开发客户。

打开