バックエンドエンジニア II、データプラットフォーム – Spotify(ハイブリッド勤務、スウェーデン)
バックエンドエンジニア II として、Spotify のデータカタログ、データリネージ、メタデータプラットフォームを構築します。 信頼性の高い Java サービスと、重要なデータ基盤を支えるバッチまたはストリーミングパイプラインを開発します。
仕事内容
- データカタログ、データリネージ、公開システム向けのバックエンドサービスと API を設計、構築、運用する
- 新しいストレージ技術やデータ資産に合わせてプラットフォームシステムを適応させる
- メタデータを最新の状態に保つバッチおよびストリーミングパイプラインを開発、運用する
- プラットフォームイベントと監査ログを処理し、データの作成・変更状況を追跡する
- リネージとメタデータを社内チーム向けのデータプロダクトに変換する
- プラットフォームユーザーのニーズを技術設計に落とし込み、提供と展開を主導する
- 本番稼働後もプロジェクトの成果に責任を持つ
- 重要サービスのオンコールローテーションに参加する
- プラットフォーム開発に可観測性と品質チェックを組み込む
- AI ツールを含む自動化を活用し、運用上の負担を軽減する
- 命名、ストレージ、メタデータに関する社内標準を確立する
- データ管理標準と関連システムを発展させる
応募要件
- Java を使用した本番環境向けバックエンドサービスおよび API の構築・運用経験
- API の設計、バージョニング、後方互換性を重視できること
- SQL に慣れていること
- データパイプライン、または BigQuery、Snowflake、Databricks などのクラウドデータウェアハウスの経験
- オーケストレーション、メタデータ管理、データ品質、ガバナンス、リネージに関する知識
- 複雑な問題を明確で実行可能な手順に分解し、トレードオフとリスクを評価できること
- AI の支援で生成されたコードを含め、提供したコードの品質に責任を持てること
- 優れたコミュニケーション能力と協働能力
- 変化の速いプラットフォーム環境で働けること
- Beam、Flink、Spark などのバッチまたはストリーミングフレームワークの実務経験があれば尚可
福利厚生
- 柔軟な在宅勤務制度
- 最も効果的に働ける場所を自由に選択できる環境
- 採用および面接を通じた合理的配慮
- 対面で協働しながら、リモート勤務の柔軟性も確保
