データエンジニア - Capital One(ニューヨーク、出社勤務)
Capital Oneのトラベルデータチームにおけるクロスクラウド移行を主導します。 Python、Spark、Databricksを使い、パーソナライズされた旅行体験を支えるデータパイプラインを構築します。
仕事内容
- アジャイルチームと連携し、技術ソリューションの設計、開発、テスト、実装、サポートを行う
- 開発者、データアナリスト、データサイエンティストを対象に、機械学習、分散マイクロサービス、レイクハウスアーキテクチャ、フルスタックシステムの業務を指導する
- Python、Spark、リレーショナルデータベースとNoSQLデータベース、さらにDatabricksやSnowflakeなどのクラウドデータウェアハウスを扱う
- データエンジニアリングの動向を追跡し、新興技術を評価し、技術コミュニティに貢献し、データ専門家を指導する
- プロダクトマネージャーやソフトウェアエンジニアと協力し、クラウドファーストのデータ機能を提供する
- クラウドデータアプリケーションとソリューションを自律的に設計、構築、提供する
- コード品質、保守性、再利用性を高めるエンジニアリングパターンを確立し、適用する
- 社内外のステークホルダーに技術概念とデータ結果を説明する
- スケーラブルで堅牢かつ運用効率に優れたデータパイプラインとプラットフォームを構築する
- 暗号化やきめ細かなアクセス制御を含むデータセキュリティ対策を適用する
- トラベルデータチームの大規模なクロスクラウド移行における重要なコンポーネントを担当する
- Python、Spark、Databricksを使ってマルチクラウドデータを中央データレイクに統合する
- リアルタイムのパーソナライズドレコメンデーション、旅行オファーのターゲティング、インテリジェントなユーザー特典を支援する
応募要件
- コンピューターサイエンスまたは関連する定量分野の学士号以上
- インターンシップを除く、4年以上のアプリケーション開発経験
- 分散データを扱った2年以上の経験
- 2年以上のSQL経験
- Python、Java、またはScalaを用いた2年以上の経験
- データパイプラインの設計および開発における2年以上の経験
- データモデリング、およびリレーショナル・非リレーショナルデータベースを用いたエンドツーエンドソリューション設計における1年以上の経験
- 新規応募者は、雇用主による移民または就労許可の支援を受ける資格がない
- 歓迎条件:7年以上のアプリケーション開発経験
- 歓迎条件:パブリッククラウドでワークロードを設計、デプロイ、運用した4年以上の経験
- 歓迎条件:EMR、Spark、Glue、Databricksを使用して分散データまたはコンピュートワークロードを構築・支援した4年以上の経験
- 歓迎条件:リアルタイムまたはストリーミングデータパイプラインを設計、実装、運用した4年以上の経験
- 歓迎条件:Monte Carlo、Splunk、Airflow、Dagsterなどのデータオブザーバビリティまたはオーケストレーションツールを使用した2年以上の経験
- 歓迎条件:NoSQLデータベースで非構造化または半構造化データを扱った4年以上の経験
- 歓迎条件:データウェアハウスソリューションを設計・支援した4年以上の経験
- 歓迎条件:アジャイル開発環境での2年以上の経験
- 歓迎条件:再利用可能でユーザー中心のデータ製品を開発した2年以上の経験
福利厚生
- 業績連動型のインセンティブ報酬には、現金賞与および/または長期インセンティブが含まれる場合があります
- 総合的なウェルビーイングを支援するために設計された、充実した競争力のある医療、財務、その他の福利厚生
- 障害のある応募者には合理的配慮を提供します
