高级数据工程师，Databricks 迁移
将大型零售分析平台从 BigQuery 迁移至 Databricks，构建 Lakehouse 架构、Spark 数据管道和受治理的数据解决方案。
描述
- 协助将大型分析平台从 BigQuery 迁移至 Databricks。
- 使用 Databricks 和 Delta Lake 设计并构建可扩展的 Lakehouse 架构。
- 评估现有 ETL 和 ELT 工作负载，并制定迁移计划。
- 开发并调优用于处理大量零售和分析数据的数据管道。
- 制定增量处理策略并构建可扩展的转换框架。
- 使用 PySpark 构建并维护 Spark 数据处理解决方案。
- 设计并维护奖牌式架构中的 Bronze、Silver 和 Gold 层。
- 使用 Unity Catalog 落实数据治理和安全实践。
- 与数据科学、分析、产品和客户工程团队协作。
- 参与架构讨论和技术解决方案设计。
- 创建可复用的数据平台组件和工程标准。
- 审查代码并提升平台的可靠性和可维护性。
- 诊断并优化复杂的 SQL 和 Spark 工作负载。
- 支持生产发布和平台现代化工作。
任职要求
- 至少五年专业数据工程经验。
- 具备扎实的 Python 技能和高级 SQL 能力。
- 拥有 Databricks 商业项目的实操经验。
- 深入了解 Apache Spark，尤其是 PySpark。
- 具备现代云数据平台的设计和构建经验。
- 具备 ETL 或 ELT 管道开发及大规模数据处理解决方案经验。
- 具备 Delta Lake 实操经验。
- 具备 Spark Declarative Pipelines 使用经验。
- 具备集群监控、指标分析和性能优化经验。
- 深入理解分布式数据处理架构。
- 熟悉数据仓库和维度建模。
- 具备 Airflow 或类似编排工具的使用经验。
- 具备复杂分析型 SQL 工作负载调优经验。
- 具备为数据工程平台实施 CI/CD 实践的经验。
- 具备出色的问题排查和性能优化能力。
- 能够在国际化环境中与跨职能团队协作。
- 英语达到中高级或更高水平。
福利待遇
- 持续学习的机会。
- 提升技术专长的机会。
- 通过工程工作创造有意义的影响。
- 参与复杂的国际项目。
