
データエンジニア(PySpark・Databricks)
PySparkとSQLを使ってDatabricks上にデータパイプラインを構築し、 分析チームや機械学習チーム向けに信頼性とガバナンスを備えたデータセットを作成します。
仕事内容
- PySparkとSQLを使用して、大規模データ処理向けのETL・ELTパイプラインを開発する
- ノートブック、ジョブ、クラスター設定を含むDatabricksワークフローを構築・最適化する
- 分析チームや機械学習チームと連携し、整理され文書化されたデータセットを提供する
- パイプラインのパフォーマンスを追跡し、障害に対処してデータの品質と整合性を維持する
- データガバナンスとプラットフォームのベストプラクティスを確立する
- 設計レビューやアーキテクチャ上の意思決定に参加する
応募要件
- データエンジニアリングまたは関連分野で4~6年の実務経験がある
- PySparkを使った大規模分散処理に自信がある
- クエリ最適化、ウィンドウ関数、CTE、複雑な結合を含む高度なSQLを扱える
- Databricks、Delta Lake、ワークフローに関する十分な経験がある(Unity Catalogの経験があれば尚可)
- AWSまたはAzureのクラウドプラットフォームの経験がある
- PySpark、SQL、Databricks、AWS、Azure、Python、Gitの基本スキルを備えている
- Apache KafkaやSpark Streamingなどのストリーミングツールの経験があれば尚可
- 機械学習パイプラインや特徴量エンジニアリングのワークフローに触れた経験があれば尚可









