高级数据工程师——Databricks 与 PySpark
为 Imaginary Cloud 的数字产品构建 Databricks 和 PySpark 数据工作负载。 在葡萄牙以混合办公方式为全球客户改进分析数据管道。
描述
- 构建并管理 Databricks 数据工作负载
- 使用 PySpark 和 Delta Lake 开发数据工程解决方案
- 编写并优化 SQL 查询，包括窗口函数和复杂联接
- 创建流式或增量数据摄取管道
- 应用幂等性、检查点和架构演进模式
- 为商业智能和分析建立数据模型
- 使用管道预期、dbt 测试或类似工具测试数据和代码
- 使用 Git、代码评审、代码检查工具、单元测试和 CI/CD 管道
- 使用智能体 AI 工具加快开发、重构和复杂问题调试
- 与工程和产品开发团队合作
- 在跨学科团队中为全球客户的数字产品作出贡献
任职要求
- 拥有至少五年数据工程或密切相关岗位的工作经验
- 拥有计算机科学、数据工程、数据科学或相关定量领域的学术背景
- 具备 Databricks 生产环境实操经验
- 拥有丰富的 Databricks 数据工作负载构建经验
- 深入理解 PySpark 和 Delta Lake
- 精通 SQL，包括窗口函数、复杂联接和查询优化
- 具备流式或增量数据摄取经验，包括 Structured Streaming 或 Auto Loader，以及幂等性、检查点和架构演进模式
- 具备 BI 和分析数据建模经验
- 了解 Databricks 工作流的测试和 CI/CD
- 掌握软件工程和 DevOps 基础知识，包括 Git、代码评审、代码检查工具、单元测试和 CI/CD 管道
- 使用管道预期、dbt 测试或类似方法进行数据质量测试
- 熟练使用 Cursor IDE 和 GitHub Copilot 等智能体 AI 工具
- 具备出色的分析和解决问题能力
- 具备与工程和产品开发团队协作的经验
- 能够流利地使用英语进行口头和书面交流
- 居住在葡萄牙，或愿意且依法有资格在当地居住和工作
福利待遇
- 薪酬根据经验和绩效确定
- 带薪病假
- 医疗和牙科保险
- 舒适福利预算
- 远程优先的公司
- 灵活的工作时间
- 参与服务全球行业领先客户的项目
- 以人为本、重视并赋能团队的文化
- 轻松随和的工作环境
- 通过团队活动分享知识、共同庆祝
- 通过导师指导和绩效评估支持职业发展