
Spotify 后端工程师,数据平台
构建 Spotify 的 Apache Iceberg 湖仓平台,并大规模运维 BigQuery。 在混合办公模式下,从伦敦或斯德哥尔摩支持可靠的数据基础设施。
描述
- 构建湖仓基础,使数据工作流能够直接读写 Iceberg 表
- 通过工具、标准和实践指导,支持 Spotify 数据管道迁移
- 在 Spotify 的规模下管理 BigQuery 预留容量
- 创建 BigQuery 监控和反模式检测机制
- 开发 BigQuery MCP 服务器等平台工具
- 参与每周支持工作和共同值班轮换
- 调查存储格式、目录 API、Kubernetes 协调、GCP IAM 以及 BigQuery 内部机制等方面的生产问题
- 自动化重复性的运维工作
- 在 MVP 之后,帮助将 Lakehouse 平台发展为生产级系统
任职要求
- 具备使用 Java 或 Scala 构建和运维生产级后端服务的实践经验
- 熟悉 GCP 和 Kubernetes
- 能够解读 kubectl 输出,并分析 IAM 权限和配额
- 具备自定义资源定义和 Kubernetes Operator 经验
- 具备 Apache Iceberg、Spark、Beam 或 Flink 等基于 JVM 的处理框架,或 BigQuery、Snowflake、Databricks 等云数据仓库的相关背景
- 具备系统级思维,能够跨技术栈多个层次追踪问题
- 愿意负责生产系统,并在大规模环境中维护可靠性
- 具备出色的书面沟通能力,能够适应跨美国和欧洲时区的异步协作
- 对交付代码的质量负责,包括使用 AI 辅助生成的代码
福利待遇
- 灵活的工作安排,包括居家办公选项
- 在整个面试过程中提供合理便利
- 无障碍的招聘流程
- 永久性雇佣









