EXLシニアデータエンジニア——米国リモート勤務
EXLでクラウドネイティブなペタバイト規模のデータプラットフォームのアーキテクチャを主導します。 データパイプライン、ストリーミング、分析最適化、データエンジニアリングのリーダーシップを担います。
仕事内容
- 拡張性、信頼性、安全性に優れたエンドツーエンドのデータパイプラインについて、アーキテクチャの方向性と標準を策定する
- エンジニアを指導し、コードレビューを行い、データプロダクトの納期を管理する
- データサイエンティスト、アナリスト、ステークホルダーと連携し、ビジネス要件と技術要件を本番稼働可能なデータソリューションに変換する
- データサイエンティストとMLエンジニアに対し、データアクセス、モデル開発、データ品質保証を支援する
- dbt CoreとAWS Glueを使用して、大容量の取り込み・変換ジョブを構築、最適化する
- Dagsterなどのオーケストレーターを使用して、モジュール化された再利用可能なパイプラインを作成、維持する
- ConfluentプラットフォームやKinesisなどのAWSストリーミングサービスを通じて、リアルタイムのデータフローを管理する
- データ匿名化の実践を適用し、セキュリティとプライバシー要件を満たす
- スキーマ進化とデータ管理のためにApache Icebergを実装、維持する
- Snowflake、Amazon Redshift、AWS Athena全体でクエリ性能を改善し、コストを管理する
- Splunkの監視とオブザーバビリティを追加し、ボトルネックを特定して本番環境の問題を解決する
応募要件
- データエンジニアリング、データアーキテクチャ、または密接に関連するフルスタックデータ職種で、10年以上の段階的な実務経験
- データエンジニアリングの原則、ETL/ELTパターン、メタデータ管理に関する深い理解
- クラウドネイティブ環境でペタバイト規模のインフラを構築・運用した実績
- 保険業界の経験があれば望ましいが、必須ではない
- S3、IAM、VPCを含むAWSサービスの経験
- Talend、dbt Core、Iceberg、AWS Glue Catalog、Snowflake、Redshift、Athena、Splunk、AWSストリーミングサービス、Gitの経験
- SQL、PySpark、Pythonに関する高いスキル
- DataOpsとDevOpsの基礎知識
福利厚生
- 年間ボーナス
- 福利厚生情報:https://www.exlservice.com/us-careers-and-benefits
- リモート勤務/在宅勤務
