高级数据工程师——在西班牙远程办公｜knowmad mood
加入 knowmad mood，使用 Microsoft Azure 构建可扩展的 Spark 和 PySpark 数据管道。为数字化转型客户开发具备治理能力、可投入生产的数据解决方案。
描述
- 使用 Apache Spark 和 Python/PySpark 构建、增强和调优大规模数据管道
- 为分析和业务应用场景生成可靠、可复用的数据集
- 在 Microsoft Azure 上创建并支持云端数据解决方案
- 高效处理、转换和存储数据，并使其可供各平台和应用程序使用
- 建立涵盖数据质量、验证、监控和文档管理的管道控制机制
- 与数据工程、数据科学、架构和业务相关方合作，将需求转化为实用解决方案
- 推进涵盖代码质量、测试、版本控制、CI/CD 和自动化的工程标准
- 采用数据治理、数据编目和质量监控实践
- 协助规划面向云端数据平台的可扩展架构
任职要求
- 至少五年数据工程专业经验
- 至少五年使用 Apache Spark 搭配 Python 或 PySpark 的生产环境经验
- 具备在大规模或复杂数据环境中构建和维护生产级管道的成功经验
- 扎实掌握维度建模和数据仓库设计
- 具备设计可扩展云端数据平台的经验
- 能够就 ETL/ELT 实践和数据工程标准提供建议
- 优先考虑：具备 Databricks、Delta Lake、Unity Catalog 和 Databricks Workflows 经验
- 优先考虑：具备使用 Azure Databricks 交付数据工程解决方案的实践经验
- 优先考虑：熟悉数据治理和数据编目框架
福利待遇
- 长期雇佣合同
- 完全远程办公模式，员工可自行选择是否到办公室办公
- 弹性工作时间和周五缩短工时
- 七月和八月实行缩短工时
- 22 天年假加 2 天个人假
- 12 月 24 日和 31 日为带薪休假日
- 可选择每年发放 12 次或 14 次薪资
- 灵活福利方案，包括餐饮卡、托儿券、医疗保险、培训及其他税收优惠选项
- 享受科技、休闲和培训服务折扣
- 提供 Udemy Business、语言学习、官方认证和技术培训
- 支持职业发展，助力成长、专业化和迎接新挑战
- 提供营养、体育活动和情绪健康支持项目
- 全天候个人及家庭援助
- 多元化的跨文化工作环境
- 社交和团队建设活动