シニアデータエンジニア - Databricks と AWS（リモート）
連邦政府向け契約業務のため、スケーラブルな Databricks と AWS のデータパイプラインを構築します。FISMA High とマルチテナントのコンプライアンス基準を満たしながら、分析に適したデータを提供します。
仕事内容
- AWS がホストする Databricks E2 環境で、スケーラブルなデータパイプラインを構築・保守する
- リレーショナルデータベース、API、外部プロバイダー、リアルタイムストリームからデータを取得する
- 分析とレポート作成のために、データをクレンジング、変換、集約するパイプラインを作成する
- Databricks のメダリオンアーキテクチャで Bronze、Silver、Gold 層を開発・管理する
- ソースからターゲットへのマッピングを作成し、単体テストを実施する
- 高度な SQL 集約を記述し、データの異常、品質問題、不整合を調査する
- AWS DMS などの AWS ネイティブサービスを使用して、リアルタイムおよびニアリアルタイムの取り込みを実装する
- Python または R、Spark、PySpark、Pandas を使用して処理ソリューションを開発する
- GitLab と CI/CD パイプラインを通じて、コード、バージョン管理、デプロイを管理する
- アジャイルな開発環境で、部門横断チームと協働する
- FISMA High およびマルチテナントのセキュリティ、ガバナンス、規制要件への準拠を維持する
- AI 自動化ツールを使用して、パイプラインの開発、テスト、検証、提供を支援する
応募要件
- データエンジニアまたは Databricks 開発者として、本番データパイプラインを構築した実務経験
- E2 アーキテクチャ、クラスター設定、ジョブオーケストレーション、ワークスペース管理を含む AWS 上の Databricks に関する深い知識
- Apache Spark、PySpark、Pandas を使用した大規模分散データ処理の実務経験
- 高い Python プログラミング能力。R の経験があれば尚可
- スケーラブルな増分ファイル取り込みに Databricks Auto Loader を使用した経験
- 変更データキャプチャとリアルタイムレプリケーションに AWS Database Migration Service を使用した実務経験
- スキーマ進化、タイムトラベル、OPTIMIZE、Z-ORDER、VACUUM を含む Delta Lake と Delta テーブルへの精通
- Amazon RDS などのリレーショナルソースを抽出・統合ワークフローで扱った経験
- 複雑な結合、ウィンドウ関数、集約、クエリ性能チューニングを含む高度な SQL スキル
- メダリオンアーキテクチャと最新のデータレイクハウス原則への理解
- データエンジニアリングコードの自動テスト、ビルド、デプロイに GitLab と CI/CD パイプラインを使用した経験
- アジャイルまたは Scrum プロジェクトへの参加経験
福利厚生
- 競争力のある報酬
- 医療、歯科、眼科、生命保険、障害保険
- 任意加入の重大疾病、入院、傷害保険
- 医療貯蓄口座と柔軟支出口座
- 401(k) 退職プラン
- 有給休暇制度
- 柔軟なワークライフバランス
- 専門能力開発の機会
- 業績評価・表彰制度
- 協力的な職場環境
- セネカ・ネーションのメンバー向けの金銭的および非金銭的福利厚生