数据工程师（PySpark 与 Databricks）
使用 PySpark 和 SQL 在 Databricks 上构建数据管道， 为分析和机器学习团队创建可靠、受治理的数据集。
描述
- 使用 PySpark 和 SQL 开发 ETL 与 ELT 管道，以处理大规模数据
- 构建并优化 Databricks 工作流，包括笔记本、作业和集群配置
- 与分析和机器学习团队合作，交付整洁且有文档说明的数据集
- 跟踪管道性能、排查故障，并维护数据质量和完整性
- 建立数据治理机制和平台最佳实践
- 参与设计评审和架构决策
任职要求
- 具备 4–6 年数据工程或相关领域的实际工作经验
- 能够熟练使用 PySpark 进行大规模分布式处理
- 掌握高级 SQL，包括查询优化、窗口函数、CTE 和复杂联接
- 具备扎实的 Databricks、Delta Lake 和工作流经验；熟悉 Unity Catalog 者优先
- 具备 AWS 或 Azure 云平台经验
- 掌握 PySpark、SQL、Databricks、AWS、Azure、Python 和 Git 等核心技能
- 具备 Apache Kafka 或 Spark Streaming 等流处理工具经验者优先
- 了解机器学习管道和特征工程工作流者优先
