EXL
EXL
EXL 是一家商业咨询与服务公司,帮助组织运用数据、分析和技术改善运营并做出更明智的决策。其业务涵盖运营管理、决策分析和数字化转型,并拥有为医疗保健、保险、金融和物流行业客户提供支持的经验。EXL 将数据科学与务实的业务专业知识相结合,根据每个组织的目标、运营模式和行业背景,制定量身定制的解决方案。

数据工程师——Databricks、Snowflake 与 Spark

使用 Databricks 和 Snowflake 构建可扩展的数据平台,开发 ETL 管道、数据模型和数据摄取框架。 运用 Spark、Python 和 SQL 实现数据处理与分析。

描述

  • 与资深数据工程师和架构师合作,构建、调优并维护可扩展的数据管道和工作流
  • 使用 Databricks、Spark、Python 和 SQL 创建 ETL/ELT 流程
  • 为结构化和非结构化数据设计并实现数据摄取框架
  • 构建和维护 Snowflake 数据模型、数据集市及分析数据集
  • 监控并排查数据管道问题,提升其性能、可靠性和可扩展性
  • 与业务相关方、分析师和数据科学家协作,厘清数据需求并交付解决方案
  • 参与架构讨论、概念验证和流程改进
  • 记录数据流、技术设计和实现方案,以支持可靠运营和知识共享
  • 在各数据平台中落实数据质量、安全和治理标准

任职要求

  • 计算机科学、信息技术、工程、数据科学或相关技术领域的学士或硕士学位
  • 具备扎实的 SQL 和数据库概念基础
  • 能够使用 Python 或同类语言编程
  • 了解数据仓库、ETL/ELT 流程和数据建模
  • 通过课程、实习、认证、黑客马拉松或个人项目接触过 Databricks、Apache Spark、Snowflake 或云数据平台
  • 基本了解 Azure、AWS 或 Google Cloud Platform 者优先
  • 具备较强的分析和解决问题能力,并有兴趣学习现代数据工程工具
  • 沟通清晰,善于协作

相关职位