中高级数据工程师 - 诺伊达混合办公
加入EXL,担任中高级数据工程师,在诺伊达以混合办公模式开发可扩展的Databricks和Snowflake平台。 使用Python、SQL和Spark构建ETL/ELT管道、数据模型和云分析解决方案。
描述
- 与高级数据工程师和架构师合作,开发、优化并支持可扩展的数据管道和工作流。
- 使用Databricks、Spark、Python和SQL创建ETL/ELT流程。
- 设计并实施结构化和非结构化数据的摄取框架。
- 开发和维护Snowflake数据模型、数据集市和分析数据集。
- 监控管道运行情况,提升性能、可靠性和可扩展性。
- 与利益相关者、分析师和数据科学家合作,明确需求并交付数据解决方案。
- 参与架构讨论、概念验证和流程改进工作。
- 记录数据流、技术设计和实施细节,以支持运营和知识共享。
- 在各数据平台中应用数据质量、安全和治理标准。
任职要求
- 计算机科学、信息技术、工程、数据科学或相关技术专业的学士或硕士学位。
- 扎实掌握SQL和核心数据库概念。
- 熟练使用Python或同类编程语言。
- 了解数据仓库、ETL/ELT工作流和数据建模。
- 通过项目、实习、认证、黑客马拉松或个人实践接触过Databricks、Apache Spark、Snowflake或云数据平台。
- 基本了解Azure、AWS或Google Cloud Platform者优先。
- 具备较强的分析和解决问题能力,并热衷于学习现代数据工程技术。
- 具备良好的沟通与协作能力。
