高级数据工程师，Databricks迁移
将企业零售分析平台从 BigQuery 迁移至 Databricks Lakehouse，构建可扩展的 PySpark 数据管道、奖章架构和受治理的云数据平台。
描述
- 协助将大型分析平台从 BigQuery 迁移至 Databricks。
- 使用 Databricks 和 Delta Lake 设计并构建可扩展的 Lakehouse 架构。
- 评估现有 ETL 和 ELT 工作负载并制定迁移方案。
- 构建并优化处理大量零售和分析数据的数据管道。
- 实施增量处理策略和可扩展的转换框架。
- 使用 PySpark 开发和维护 Spark 数据处理解决方案。
- 设计并维护 Bronze、Silver 和 Gold 奖章层。
- 使用 Unity Catalog 落实数据治理和安全实践。
- 与数据科学、分析、产品和客户工程团队协作。
- 参与架构讨论和技术方案设计。
- 创建可复用的数据平台组件和工程标准。
- 审查代码并提升平台的可靠性和可维护性。
- 排查并优化复杂的 SQL 和 Spark 工作负载。
- 支持生产环境部署和平台现代化。
任职要求
- 具有至少五年数据工程师专业工作经验。
- 具备扎实的 Python 编程能力和高级 SQL 技能。
- 具有 Databricks 商业项目实战经验。
- 熟悉 Apache Spark，尤其是 PySpark。
- 具有现代云数据平台的设计和构建经验。
- 具有 ETL 和 ELT 管道以及大规模数据处理解决方案的开发经验。
- 具有 Delta Lake 实践经验。
- 具有 Spark Declarative Pipelines 使用经验。
- 具有集群监控、指标分析和性能优化经验。
- 理解分布式数据处理架构。
- 理解数据仓库概念和维度建模。
- 具有 Airflow 或同类编排工具的使用经验。
- 具有复杂分析型 SQL 工作负载优化经验。
- 具有将 CI/CD 实践应用于数据工程平台的经验。
- 擅长故障排查和性能优化。
- 能够与跨职能的国际团队高效协作。
- 英语水平达到中高级或以上。
福利待遇
- 员工可远程工作。
- 提供持续学习机会。
- 有机会随技术发展不断成长。
- 通过工程工作产生有意义的影响。
- 参与复杂的国际项目。
