数据工程师，Databricks 与 PySpark
为 AXON Networks 的 AI 驱动电信编排平台构建并维护 Databricks、PySpark 和 SQL 数据管道。 协助确保湖仓数据集可追溯、经过测试，并满足生产环境要求；工作地点为马德里。
描述
- 使用 Databricks、PySpark 和 SQL 开发可扩展的数据摄取与转换管道。
- 创建并维护 Databricks Jobs 和 Workflows，用于数据摄取与处理。
- 构建湖仓数据集，管理架构变更与数据契约，并保留对上游数据源的可追溯性。
- 维护数据质量与时效性，确保下游用户在规定的处理时限内获得可靠的数据集。
- 为数据管道创建并维护自动化单元、集成和回归测试。
- 调查 QA 和生产环境中的管道问题，查明根本原因并实施修复。
- 优化 Spark 作业和数据转换流程，提升性能与效率。
- 与开发、质量保证、DevOps、产品管理和交付团队协作，参与软件生命周期各阶段的工作。
- 直接处理生产平台中的大规模电信数据。
任职要求
- 计算机科学或相关领域的学士或硕士学位。
- 至少两年数据工程或类似岗位的专业工作经验。
- 具备 Python、PySpark 和 SQL 的实际经验。
- 了解数据建模和湖仓概念。
- 熟悉自动化测试和基于 Git 的开发工作流程。
- 具备较强的分析与解决问题能力，包括排查数据处理问题。
- 英语和西班牙语流利。
- 能够在马德里以混合办公方式工作。
- 具备使用 Apache Spark 和 Databricks 构建 ETL 或 ELT 管道的经验。
- 具备 Delta Lake、Medallion Architecture、架构演进或数据契约相关经验。
- 具备 Databricks Jobs 或 Workflows 以及工作负载优化经验。
- 具备处理大规模数据集或电信数据集的经验。
- 申请材料必须以英语提交，方可进入审核。
福利待遇
- 有竞争力的薪酬和激励计划。
- 弹性工作时间并可远程办公。
- 免费停车或 Pluxee 交通通行证。
- Pluxee 餐券。
- 为全家提供私人医疗保险。
- 有机会在国际化环境中工作。
- 生日当天享有带薪休假。
