State Streetは、投資運用および投資サービスのソリューションを通じて機関投資家を支援するグローバルな金融サービス企業です。資産運用、カストディサービス、投資リサーチなどを提供し、金融、フィンテック、銀行業務に関する専門知識を有しています。同社は、データ、洞察、業務運営能力を活用して、顧客が複雑な投資活動を管理し、効率を高め、財務上の意思決定を支援できるよう取り組んでいます。
シニア Databricks データエンジニア
State Streetの金融サービスプラットフォーム向けに、AzureとDatabricksのデータパイプラインを構築します。 アジャイルチームの一員として、ETLプロセス、データレイク、拡張性の高いフレームワークを開発します。
仕事内容
- AzureとCosmos DB上で、ストリーミング、イベント駆動型、バッチ処理のエンドツーエンドのデータパイプラインを構築し、テストする。
- データレイクへのデータ取り込み、変換、ロードを行うETLプロセスを作成する。
- Databricksとデータウェアハウスの概念をエンジニアリング業務に適用する。
- 高スループットのデータ処理に対応する、設定可能なフレームワークとライブラリを設計・開発する。
- 協業、影響力の発揮、概念実証のデモを通じて変革を推進する。
- 設計、コーディング、統合テスト、デプロイ、ドキュメント作成など、ソフトウェア開発ライフサイクル全般の業務を担う。
- アジャイルのプロジェクトチームで協力して業務を進める。
- 確立されたエンジニアリングの実践方法とコーディング標準を適用する。
- データパイプラインを監視し、問題を調査する。
- データ品質のチェックと検証を追加する。
- アジャイルスクラムチームの一員として、プラットフォームの開発、強化、保守を支援する。
- 専門スキルを高め、幅を広げる。
応募要件
- コンピューターサイエンス、IT、または関連分野の学士号、もしくは同等の資格を有すること。
- ビッグデータパイプラインの経験が10年以上あること。
- Databricksの実務経験が5年以上あること。
- Azureサービス、Azure DevOps、Kubernetes、Dockerを含むクラウド開発経験が5年以上あること。
- マイクロサービスアーキテクチャとクラウドコンピューティングを理解していること。Azureの経験があれば尚可。
- Databricks、Delta Lake、Apache Sparkに習熟していること。
- Databricks SQLおよびScalaを使った開発の実務経験があること。
- クラスターやジョブなど、Databricksのリソースを理解していること。
- ADOとHarnessを使ったDevOpsパイプラインのトラブルシューティング経験があること。
- Gitなどのバージョン管理ツールを使用できること。
- Avro、JSON、XMLなどの半構造化形式を扱った経験があること。
- シェルスクリプト、UNIX、TOAD、SQL Developerの基礎知識があること。
- データ分析とデータ探索の経験があること。
- 金融業界での実務経験があること。
- アジャイル開発手法を用いた実務経験があること。
- 文書およびビジネス上の会話で効果的にコミュニケーションできること。
- 複数の業務を並行して進め、意欲、適応力、問題解決力を発揮できること。
福利厚生
- 会社のマッチング拠出を含む401(k)退職年金制度。
- 基本生命保険、医療、歯科、眼科、長期障害保険、および追加の任意補償を含む保険オプション。
- 有給休暇には、休暇、病気休暇、短期障害休暇、家族介護に関する休暇が含まれる。
- 従業員支援プログラムを利用可能。
- 年間の業績連動型報奨の対象となる場合がある。
- 税制優遇のある一部の貯蓄制度の対象となる場合がある。
- インクルーシブな専門能力開発の機会。
- 柔軟なワークライフバランスを支援。
- 有給のボランティア活動日。
- 従業員ネットワーク。
