シニアデータエンジニア——Apache Spark（リモート、エジプト）
スケーラブルなデータ処理を実現するため、Apache Sparkのバッチパイプラインの開発と最適化をリードします。 レイクハウスデータを整備し、信頼性の高い分析ワークフローの維持を支援します。
仕事内容
- データセットの拡大後も効率性とコスト効率を維持できる、大規模なバッチデータパイプラインを開発・運用します。
- Apache Sparkを使用して、スケーラブルなデータ処理ワークロードを作成・保守します。
- 信頼性と効率性の高い実行を実現するため、パイプラインのパフォーマンスをチューニングします。
- 分析を重視したデータモデルの設計に貢献します。
- 下流で実用的に利用できるよう、レイクハウスデータを整備します。
- 自動スケジューリング、監視、データ品質検証を管理します。
- プラットフォームチームおよびプロダクトチームと連携し、データフロー全体を実現します。
応募要件
- 管理されたノートブック環境での利用にとどまらないパフォーマンスチューニングを含む、実務で培ったApache Sparkの専門知識。
- 分析用データモデルの設計と、下流で利用するレイクハウスデータの整備経験。
- 自動スケジューリング、パイプライン監視、データ品質検証の経験。
- プラットフォームチームおよびプロダクトチームと連携し、データフロー全体に対応できる能力。
- Apache Icebergまたは同等のオープンテーブル形式に関する知識。
- Trinoまたは類似のクエリエンジンの経験。
- オンプレミスまたは自主管理型クラスターでの実務経験。
