シニアデータエンジニア、Databricks
Databricks レイクハウスのパイプラインとデータセットを構築し、レポート、機械学習、分析を支えます。 財務、営業、サプライチェーン、マーケティングの各チームを支援します。
仕事内容
- 各業務部門でのレポート、可視化、機械学習、意思決定を支えるデータパイプラインとデータセットを作成・保守します。
- Databricks レイクハウスで、拡張性の高いパイプラインと再利用可能なデータセットを開発します。
- Python、PySpark、SQL を使って、構造化データと非構造化データを取り込み、検証、クレンジング、変換します。
- Tableau や Spotfire などのツール向けに、データモデルとレポート用データセットを作成します。
- 既存のデータウェアハウスやレポートシステムを、最新のクラウド分析プラットフォームに接続します。
- パイプラインの信頼性、データ品質、処理速度を向上させます。
- 自動テスト、監視、ドキュメント、CI/CD の取り組みを確立します。
- アナリスト、アーキテクト、開発者、業務部門の関係者と協力し、役立つデータソリューションを提供します。
- 技術面の作業を主導し、コードをレビューし、他のデータエンジニアを指導します。
応募要件
- データエンジニアリングの実務経験が7年以上あり、本番環境のデータパイプラインの構築・運用経験があること。
- SQL に精通し、データモデリング、データベース設計、データウェアハウスを十分に理解していること。
- Databricks、Apache Spark、クラウドデータプラットフォームの実務経験があること。
- Python と PySpark を自在に扱えること。
- ETL/ELT パイプラインの構築と、複数のソースシステムからのデータ統合の経験があること。
- Tableau または同様のビジネスインテリジェンスツール向けに、信頼性の高いデータセットを準備した経験があること。
- バージョン管理、自動テスト、CI/CD に関する知識があること。
- 複雑なデータ問題を特定し、パイプラインの性能を改善できること。
- 明確なコミュニケーション能力があり、技術チームや業務部門の関係者と協働した経験があること。
- Spotfire、Oracle、Informatica、R、またはデータ仮想化の経験があれば尚可。
- Databricks 認定資格があれば尚可。
