
データエンジニアコンサルタント――Databricks と Azure(メルボルン現地勤務)
Databricks を使用して、スケーラブルな Azure データパイプラインと PySpark 変換処理を構築します。金融サービス分野の分析およびデータサイエンスプログラムを支援します。
仕事内容
- Azure Data Factory、Databricks、Apache Spark を使用して、スケーラブルな取り込みパイプラインを作成・改善する
- データサイエンスの取り組みを支えるデータ準備、変換、エンリッチメント用の PySpark ノートブックを開発・保守する
- データサイエンティストと連携して要件を明確にし、信頼性の高い構造化データセットを予定どおりに提供する
- データ品質管理、検証ルール、監視プロセスを確立する
- 構造化、半構造化、非構造化データソースを接続・処理する
- データソリューションにセキュリティ、ガバナンス、銀行業界のコンプライアンス基準を適用する
- Azure Spark ワークロードをチューニングして、パフォーマンスを向上させコストを管理する
- コードレビュー、ソリューション設計セッション、アジャイルの各種セレモニーに参加する
- パイプライン、ワークフロー、技術的な意思決定を網羅するドキュメントを維持する
応募要件
- Azure Databricks の実務経験が少なくとも3年あること
- Apache Spark に関する確かな専門知識があり、特に分散処理向けの PySpark に精通していること
- Azure Data Factory、Azure Synapse、Azure Blob Storage、Delta Lake の経験があること
- ETL/ELT ワークフロー、データモデリング、データウェアハウスの原則を理解していること
- データ処理に Python および/または Scala を使用できること
- Azure DevOps、Git、Terraform を使用した CI/CD ワークフローの経験があれば尚可
- SQL、NoSQL、データレイクアーキテクチャに精通していること
- 金融サービス分野におけるデータガバナンス、セキュリティ、コンプライアンスの実務を理解していること
- 高い分析力と問題解決能力を備えていること
- ステークホルダーと効果的にコミュニケーションできること
- 部門横断型チームで生産的に協働できること
- アジャイル思考を持ち、Scrum または類似の環境での経験があること
- オーストラリア国籍を有すること
- セキュリティクリアランスを取得する資格があること
- コンピューターサイエンス、情報システム、工学、または関連分野の学士号もしくは修士号があれば尚可
- Databricks Certified Data Engineer Associate または Professional 認定があれば尚可
- 銀行または金融サービス業界での経験があれば大いに望ましい







