State Streetは、投資運用および投資サービスのソリューションを通じて機関投資家を支援するグローバルな金融サービス企業です。資産運用、カストディサービス、投資リサーチなどを提供し、金融、フィンテック、銀行業務に関する専門知識を有しています。同社は、データ、洞察、業務運営能力を活用して、顧客が複雑な投資活動を管理し、効率を高め、財務上の意思決定を支援できるよう取り組んでいます。
データエンジニア、アシスタントバイスプレジデント - プリンストン、ニュージャージー州
AWS と Databricks のレイクハウスプラットフォームを構築し、State Street の法務・コンプライアンス業務を支援します。 分析、レポート、AI/ML アプリケーション向けに、ガバナンスの効いたデータパイプラインを開発します。
仕事内容
- PySpark、Python、Spark SQL を使用して、スケーラブルなデータパイプラインを構築・保守する
- Delta Lake を使用して Databricks の ETL/ELT ワークフローを開発・最適化する
- エンタープライズデータプラットフォーム向けに Bronze、Silver、Gold のレイクハウスアーキテクチャを実装する
- バッチおよびストリーミングワークロード向けの Databricks Jobs、Workflows、Notebooks を管理する
- データ取り込み、処理、オーケストレーションの再利用可能なフレームワークを作成する
- Docker でデータワークロードをコンテナ化し、スクリプトによってプロセスを自動化する
- Databricks パイプラインを Power Apps および Power Automate に接続する
- API、コネクタ、キュレーション済みデータセットを通じてビジネスユーザーにデータを提供する
- Databricks レイクハウスアーキテクチャを設計・最適化する
- SQL Server、Oracle、その他のエンタープライズデータソースを統合する
- ディメンショナルモデリング、パーティショニング、最適化手法を適用する
- JSON や Parquet を含む構造化・半構造化形式を処理する
- キャッシュ、インデックス、Spark 最適化によってパフォーマンスを向上させる
- Power BI、Power Apps、Power Automate ワークフロー向けにキュレーション済みデータセットを公開する
- 単体テスト、検証フレームワーク、自動チェックによってデータ品質を維持する
- 分散 Spark ワークロードとパイプラインを監視・トラブルシューティングする
- ログを調査し、Databricks とクラウド環境全体の本番問題を解決する
- データリネージュ、一貫性、監査対応状況を維持する
- 法務、セキュリティ、コンプライアンス、エンタープライズデータの各チームと連携する
- ビジネス要件をデータエンジニアリングソリューションに変換する
- Databricks とレイクハウスアーキテクチャの専門家として活動する
- イニシアチブを自律的に主導し、成果物に責任を持つ
- Databricks Unity Catalog と AWS IAM、KMS の管理策によるガバナンスを支援する
- データプライバシー、規制、セキュリティ、監査要件を満たす
- アクセス制御、データ分類、取り扱い基準を維持する
- IAM およびセキュリティチームと協力してデータアクセスを保護する
- Harness、Azure DevOps、GitHub を使用して CI/CD パイプラインを設計・保守する
- Databricks Repos と CLI によって Databricks アセットのデプロイを自動化する
- Databricks オーケストレーションツールを使用してワークフローを監視、スケジュール、最適化する
- アーキテクチャ、データフロー、ランブックのドキュメントを維持する
- プラットフォームのパフォーマンス、スケーラビリティ、コスト効率を改善する
応募要件
- コンピューターサイエンス、データエンジニアリング、情報システム、または関連する技術分野の学士号または修士号
- データエンジニアリングまたはデータプラットフォーム開発の経験 8 年以上
- Databricks と Apache Spark の実務経験
- PySpark、Python、SQL に精通していること
- S3、Glue、Lambda、IAM などの AWS データサービスの経験
- Delta Lake とレイクハウスアーキテクチャの経験
- 分散データ処理に関する深い知識
- ETL および ELT フレームワークに関する深い知識
- データモデリング手法に関する深い知識
- Delta Lake、Workflows、Unity Catalog などの Databricks コンポーネントの実務経験
- AWS と Databricks を使用したエンドツーエンドのバッチおよびストリーミングパイプライン構築の豊富な経験
- Spark と Delta Lake のパフォーマンス最適化に関する知識
- レイクハウスプラットフォーム上で分析、レポート、または AI/ML ワークロードをサポートした経験
- データガバナンス、メタデータ管理、セキュリティ管理策に関する知識
- 法務、コンプライアンス、金融サービス、またはその他の規制業界での経験
- 契約、条項、義務、案件などの法務データ概念に関する理解
- 非構造化データ処理またはドキュメント・NLP パイプラインの経験
- Power BI、Power Apps、または Power Platform の経験
- 監査主導の環境で機密データを管理した経験
福利厚生
- 会社のマッチング拠出を伴う 401(k) 退職貯蓄プラン
- 基本生命保険、医療、歯科、眼科、長期障害保険、その他の任意補償を含む保険オプション
- 休暇、病気休暇、短期障害休暇、家族介護責任を対象とする有給休暇
- 従業員支援プログラム
- 年次業績連動型報奨の対象となるインセンティブ報酬
- 一部の税制優遇貯蓄プランの加入資格
- インクルーシブな能力開発機会
- 柔軟なワークライフ支援
- 有給ボランティア休暇
- 従業員ネットワーク