后端工程师 II,数据平台 – Spotify(混合办公,瑞典)
作为后端工程师 II,构建 Spotify 的数据目录、数据血缘和元数据平台。 开发可靠的 Java 服务以及批处理或流式处理管道,为关键数据基础设施提供支持。
描述
- 为数据目录、数据血缘和数据发布系统设计、构建并运营后端服务和 API
- 使平台系统适配新的存储技术和数据资产
- 开发并运营批处理和流式处理管道,确保元数据保持最新
- 处理平台事件和审计日志,跟踪数据的创建和变更过程
- 将数据血缘和元数据转化为面向内部团队的数据产品
- 将平台用户需求转化为技术设计,并负责交付和上线
- 在产品上线后继续对项目成果负责
- 参与关键服务的值班轮换
- 在平台开发中构建可观测性和质量检查机制
- 应用包括 AI 工具在内的自动化手段,减少运维负担
- 建立命名、存储和元数据方面的内部标准
- 推进数据管理标准及其支持系统的发展
任职要求
- 具备使用 Java 构建和运营生产环境后端服务及 API 的实践经验
- 高度重视 API 设计、版本管理和向后兼容性
- 熟悉 SQL
- 具备数据管道或 BigQuery、Snowflake、Databricks 等云数据仓库的使用经验
- 了解编排、元数据管理、数据质量、数据治理和数据血缘
- 能够将复杂问题拆解为清晰且可交付的步骤,同时评估权衡和风险
- 对已交付代码的质量负责,包括借助 AI 生成的代码
- 具备良好的沟通与协作能力
- 能够适应快速发展的平台环境
- 具备 Beam、Flink 或 Spark 等批处理或流式处理框架的实践经验者优先
福利待遇
- 灵活的居家办公安排
- 可自由选择最能发挥工作效率的地点
- 在招聘和面试过程中提供合理便利
- 开展面对面协作,同时保留远程工作的灵活性
