シニア Databricks データエンジニア
ポーランドからリモートで Databricks プラットフォームとデータパイプラインを構築します。 日本の大手金融グループが提供する顧客向け銀行アプリの開発に携わります。
仕事内容
- 拡張性の高い Databricks データプラットフォームとパイプラインを構築・保守します。
- 部門横断チームと連携し、分析やビジネスインテリジェンスに役立つ、信頼性が高く利用しやすいデータを提供します。
- Bronze、Silver、Gold のレイクハウスレイヤーを使用して Medallion Architecture を実装します。
- 自動テストと監視を備えたデータ品質フレームワークを構築します。
- Delta Lake のタイムトラベル、vacuum 操作、Z-ordering を活用します。
- 大規模な日次データセット向けの複雑な ETL/ELT パイプラインを開発・保守します。
- Databricks Asset Bundles または同等のツールを使用して、データパイプラインの CI/CD ワークフローを構築します。
- Structured Streaming と Delta Live Tables を使用して、バッチ処理およびリアルタイム処理のソリューションを構築します。
- クラスターの自動スケーリングとリソース管理により、Spark ジョブの性能とコスト効率を改善します。
- Databricks API を外部システムと連携します。
- Unity Catalog、Delta Lake、Apache Spark を使用して、拡張性の高いデータアーキテクチャを設計します。
- ガバナンスとデータリネージ追跡を備えたデータメッシュアーキテクチャを構築します。
- 日本の大手金融グループ向け顧客用銀行アプリの開発に携わります。
応募要件
- データエンジニアリングの実務経験が6年以上あること。
- 本番環境向けデータパイプラインおよび ETL/ELT ワークフローの設計・導入で確かな実績があること。
- Python、PySpark、SQL に習熟していること。
- AWS Glue、Lambda、Redshift、S3 の豊富な実務経験があること。
- Unity Catalog や AWS SageMaker Unified Studio など、データガバナンスおよび管理ツールの知識があること。
- データ移行およびレガシーシステムのモダナイゼーション経験があること。
- 英語で効果的にコミュニケーションできること。
- Databricks Certified Professional Data Engineer 認定、または同等の認定があれば尚可。
- Docker、Kubernetes などのコンテナ化・オーケストレーションツールの経験があれば尚可。
福利厚生
- 協力的で活気のある環境で働けます。
- 専門性を高める機会があります。
- 国際的な銀行アプリプロジェクトに携われます。
- リモートで勤務できます。