Groundswell データエンジニア:レガシーシステムとAIワークフロー(米国リモート)
連邦政府向け技術インテグレーターであるGroundswellのために、安全なETL/ELTパイプラインとAIワークフローを構築します。データ品質、ガバナンス、セキュリティ、信頼性の高いミッション指向アプリケーションに重点を置く役割です。
仕事内容
- 構造化データと半構造化データを安全なクラウドプラットフォームに移送する、バッチおよびストリーミングETL/ELTパイプラインを構築・運用します。
- スキーマ、マッピング、インターフェース、検証ルール、所有権、運用サポート手順を評価し、レガシーデータソースを統合します。
- データの完全性、正確性、一貫性、適時性、参照整合性を確認する自動チェックを実装し、監視とアラートを整備します。
- SOAP API、ワークフローオーケストレーション、環境固有の設定を通じて、デプロイとパイプライン運用を自動化します。
- ログ、メトリクス、データリネージ、運用シグナルを用いて分散システムの障害を診断し、原因と復旧計画を共有します。
- エンジニアリング、クラウド、データサイエンス、セキュリティ、アーキテクチャ、顧客の各チームと連携し、ミッション上のニーズを測定可能なデータプロダクトに変換します。
応募要件
- コンピューターサイエンス、コンピューターエンジニアリング、数学、統計学、または関連する技術分野の学士号。
- 本番パイプラインの開発・運用を含む、5年以上の専門的なデータエンジニアリング経験。
- Python、Java、R、またはデータエンジニアリングで使用される別のプログラミング言語に習熟していること。
- SOAP APIを使用したデータ交換を行うレガシーシステムの実務経験。
- 本番パイプライン向けのデータ品質フレームワーク、検証プロセス、監視、アラートの実装経験。
- 規制対象、アクセス制限下、またはコンプライアンス重視の環境におけるデータセキュリティ、アクセス制御、暗号化、監査可能性、ガバナンスに関する知識。
- SOAPまたはREST API、およびJSON、XML、CSV、Parquetなどの構造化形式の実務経験。
- 技術的な意思決定を文書化し、多分野のチームや顧客のステークホルダーと協働できること。
- 契約条件により、米国市民権が必要です。
- 契約で求められる場合に、Public Trust Clearanceを取得・維持できること。
- LLMやその他のAI/MLワークフロー向けに、前処理、チャンク化、フィルタリング、メタデータ付与、評価パイプラインを作成した経験があれば尚可。
- ネットワーク分離、接続制限、厳格な変更管理、正式な承認要件のあるデータプラットフォームの運用経験があれば尚可。
- クエリ最適化、データモデリング、結合、ウィンドウ関数、大規模データセット分析を含む高度なSQLスキルがあれば尚可。
- Jupyter Notebookまたは同等のデータ分析ツールの使用経験があれば尚可。
- NumPyやpandasなどのPythonライブラリの使用経験があれば尚可。
- 主要クラウドプロバイダーの実務経験があれば尚可。AWSの経験を特に重視します。
- C3.aiの経験があれば尚可。
- 有効なPublic Trust Clearanceを保有していれば尚可。
- ワシントンD.C.首都圏に所在する候補者を優先します。
- AWS Data Engineer、Databricks、クラウドデータエンジニアリング、またはその他の関連する専門資格があれば尚可。
福利厚生
- 医療、歯科、眼科の保険。
- フレキシブル支出口座。
- 4%のマッチング拠出と即時権利確定がある401(k)プラン。
- 有給休暇。
- 授業料補助、資格取得プログラム、専門能力開発支援。
- 柔軟な勤務スケジュール。
- 社内ジムと託児サービスの選択肢。
