Databricksシニアリードデータエンジニア
Booz Allen Hamiltonの政府機関クライアント向けに、AWS上で拡張性の高いDatabricksのデータパイプラインとモデルの開発を主導します。 自ら技術チームを率いて育成し、安全なデータ処理を支援します。
仕事内容
- Databricksで信頼性の高いデータパイプラインを構築、保守します。
- エンドツーエンドのデータフローを開発、改善します。
- 抽出、変換、ロード(ETL)処理を管理します。
- データモデル、スキーマ、効率的なデータ構造を作成します。
- データを保護し、コンプライアンス要件への対応を支援します。
- 異なる専門分野のチームと連携します。
- データ処理の速度と拡張性を継続的に高めます。
- アナリスト、データエンジニア、開発者、データ利用者を率いて育成します。
- 拡張性の高いクライアントプラットフォームの評価、設計、開発、保守を統括します。
- データを調査、分析し、実行可能な洞察を導き出します。
応募要件
- 包括的なログ記録と堅牢なエラー処理を備えたETLプロセスおよびデータパイプラインの設計、開発、導入、管理の経験が8年以上あること。
- Databricksノートブック、クラスター、ジョブオーケストレーションツールを使用したデータパイプラインの構築、デバッグ、最適化の経験が3年以上あること。
- Delta Lake、Databricks Delta、Unity Catalogの経験があること。
- ETLスクリプトおよびカスタム変換のためにPythonとPySparkを使用した経験が3年以上あること。
- メダリオンアーキテクチャでディメンショナルモデルおよびリレーショナルデータモデルを作成した経験があること。
- AWS Glue、Amazon S3、Amazon RDSの経験があること。
- パーティショニング、バケット化、キャッシュを含むETLパフォーマンス最適化の知識があること。
- スキーマ定義からデータ構造の最適化まで、データモデルを設計できること。
- Public Trust(公共信頼)要件を満たすこと。
- コンピューターサイエンス、コンピューター工学、工学、数学、物理学、情報システム、または情報技術の学士号を有すること。
- 選考された応募者は政府による調査を受け、米国政府クライアントが定める資格要件を満たす必要が生じる場合があります。
- Public Trust(公共信頼)の認定が必要です。
福利厚生
- 医療保障。
- 生命保険給付。
- 障害給付。
- 経済的給付。
- 退職給付。
- 有給休暇。
- 専門能力開発の機会。
- 学費補助。
- 仕事と生活を支援するプログラム。
- 扶養家族のケア給付。
- 優れた業績と会社の価値観の実践を評価する表彰制度。
