
数据工程师——Databricks、Snowflake 与 Spark
使用 Databricks 和 Snowflake 构建可扩展的数据平台,开发 ETL 管道、数据模型和数据摄取框架。 运用 Spark、Python 和 SQL 实现数据处理与分析。
描述
- 与资深数据工程师和架构师合作,构建、调优并维护可扩展的数据管道和工作流
- 使用 Databricks、Spark、Python 和 SQL 创建 ETL/ELT 流程
- 为结构化和非结构化数据设计并实现数据摄取框架
- 构建和维护 Snowflake 数据模型、数据集市及分析数据集
- 监控并排查数据管道问题,提升其性能、可靠性和可扩展性
- 与业务相关方、分析师和数据科学家协作,厘清数据需求并交付解决方案
- 参与架构讨论、概念验证和流程改进
- 记录数据流、技术设计和实现方案,以支持可靠运营和知识共享
- 在各数据平台中落实数据质量、安全和治理标准
任职要求
- 计算机科学、信息技术、工程、数据科学或相关技术领域的学士或硕士学位
- 具备扎实的 SQL 和数据库概念基础
- 能够使用 Python 或同类语言编程
- 了解数据仓库、ETL/ELT 流程和数据建模
- 通过课程、实习、认证、黑客马拉松或个人项目接触过 Databricks、Apache Spark、Snowflake 或云数据平台
- 基本了解 Azure、AWS 或 Google Cloud Platform 者优先
- 具备较强的分析和解决问题能力,并有兴趣学习现代数据工程工具
- 沟通清晰,善于协作



