高级数据工程师，Databricks
构建 Databricks 湖仓流水线和数据集，支持报告、机器学习与分析。 为财务、销售、供应链和市场营销等团队提供支持。
描述
- 创建并维护数据流水线和数据集，支持各业务部门进行报告、可视化、机器学习和明智决策。
- 在 Databricks 湖仓中开发可扩展的流水线和可重复使用的数据集。
- 使用 Python、PySpark 和 SQL 接入、验证、清理和转换结构化与非结构化数据。
- 为 Tableau 及 Spotfire 等工具创建数据模型和报告数据集。
- 将现有数据仓库和报告系统连接到现代云分析平台。
- 提升流水线可靠性、数据质量和处理速度。
- 建立自动化测试、监控、文档记录和 CI/CD 实践。
- 与分析师、架构师、开发人员及业务相关方合作，交付实用的数据解决方案。
- 指导技术工作、审查代码并辅导其他数据工程师。
任职要求
- 至少七年数据工程经验，包括构建和支持生产环境中的数据流水线。
- 具备扎实的 SQL 技能，并深入理解数据建模、数据库设计和数据仓库。
- 拥有 Databricks、Apache Spark 和云数据平台的实际经验。
- 熟练掌握 Python 和 PySpark。
- 具备构建 ETL/ELT 流水线以及整合多个源系统数据的经验。
- 具备为 Tableau 或类似商业智能工具准备可靠数据集的经验。
- 熟悉版本控制、自动化测试和 CI/CD。
- 能够诊断复杂数据问题并提升流水线性能。
- 沟通清晰，并有与技术团队及业务相关方合作的经验。
- 具备 Spotfire、Oracle、Informatica、R 或数据虚拟化经验者优先。
- 拥有 Databricks 认证者优先。