リモートデータエンジニア—リスクデータ(イリノイ州)
Allstateのために、ガバナンスの効いたリスクデータパイプラインと分析製品を構築します。分散したリスクデータを、信頼性の高いデータセット、ダッシュボード、AI対応機能へ変換します。
仕事内容
- クラウドネイティブ技術を用いて、信頼性の高いリスクデータ製品とスケーラブルなバッチおよびストリーミングパイプラインを設計・保守します。
- リスク、統制、ベンダー、業務、外部データを分析に利用できるガバナンス済みデータセットへ統合します。
- 自動的な取り込み、変換、検証、照合、配信を実現するETL/ELTワークフローを作成・改善します。
- Microsoft FabricやOneLakeを含む最新のデータレイクおよびレイクハウス環境でデータ処理ワークロードを管理します。
- データ品質、監視、リネージ、照合の実践方法を確立します。
- レポート、経営層向けダッシュボード、傾向分析、リスク検知、意思決定支援に使用する整備済みデータセットと分析成果物を作成します。
- 拡張性、性能、レジリエンス、コスト効率を向上させるため、データアーキテクチャ、スキーマ、処理パターンを改善します。
- 再利用可能なフレームワーク、エンジニアリング標準、CI/CDパイプライン、自動テスト、運用監視を構築します。
- 分析、製品、リスク、ガバナンス、セキュリティ、コンプライアンスの各チームと、定義、指標、品質基準、安全なアクセスについて協働します。
- スプリント計画、バックログの詳細化、設計レビュー、継続的改善を通じてアジャイル開発に貢献します。
応募要件
- 本番環境向けのパイプラインとデータ製品を支援するデータエンジニアまたは同等職務で、4年以上の経験。
- 大規模なデータ処理と変換にApache Sparkを使用した実務経験。
- Python、SQL、最新のデータエンジニアリング手法を十分に理解していること。
- クラウドデータレイク、レイクハウス、分析プラットフォーム上でETL/ELTソリューションを開発した経験。
- レポート、ダッシュボード、業務上の洞察、先進的な分析向けの分析モデルを設計・最適化した経験。
- データ品質、検証、監視、照合、本番サポートに関する確かな知識。
- CI/CD、バージョン管理、自動テスト、Infrastructure as Codeの概念に関する経験。
- 複数のデータソースにまたがる複雑なデータ品質、性能、統合の問題を調査できる能力。
- 優れた文書および口頭でのコミュニケーション能力。
- Microsoft Fabric、OneLake、または同等の最新分析プラットフォームの経験があれば尚可。
- リスク、統制、コンプライアンス、監査、ガバナンス、規制データに関する経験。
- リアルタイム、準リアルタイム、イベント駆動型の処理ソリューションを開発した経験。
- データガバナンス、メタデータ管理、リネージ、アクセス制御、エンタープライズデータ品質フレームワークに関する知識。
- データパイプライン向けのオーケストレーションおよびワークフロー管理ツールの使用経験。
- 業務レポート、経営層向けダッシュボード、傾向分析、先進的な分析、機械学習の取り組みを支援した経験。
- 身元調査を無事に完了することが必須です。
- ダウンロード最低50 MB、アップロード最低5 MBの安定したインターネットサービス。
- 適切な机と椅子を備え、気が散るもののない専用のプライベート作業スペース。
- Allstateは通常、この職位について雇用ベースのビザをスポンサーしません。
福利厚生
- ノートパソコン、モニター、ヘッドセット、キーボード、マウスを含むテクノロジー機器一式。
- 在宅勤務の対象となる従業員への月額接続費補助。
