シニアデータエンジニア - バンガロール、インド（出社勤務）
ウォルマートの支払い後監査業務向けに、スケーラブルなバッチ・ストリーミングパイプラインと生成AIデータプロダクトを構築します。 支払いの正確性、照合、回収プロセス、財務分析を改善します。
仕事内容
- 支払い後監査、支払いインテグリティ、サプライヤー照合、回収業務、財務分析向けに、スケーラブルなバッチ、ストリーミング、ニアリアルタイムのパイプラインを構築・維持する。
- 請求書、発注書、入荷、サプライヤー、請求、価格、支払いシステムから、キュレーション済みデータセット、セマンティックモデル、特徴量作成に対応したテーブル、再利用可能なデータプロダクトを開発する。
- SQL、Python、PySpark、Apache Flink、dbt、オーケストレーションツール、イベントストリーミングプラットフォーム、クラウドデータ技術を用いて、ELT、ETL、ストリーミングワークフローを作成する。
- イベント時刻処理、遅延データ処理、リプレイ可能性、冪等性、バックフィル、障害復旧に対応したストリーミングおよび変更データキャプチャパイプラインを開発する。
- Apache Hudi、Apache Iceberg、Delta Lakeを使用して、レイクハウスデータプロダクトを設計・運用する。
- データ品質チェック、照合制御、スキーマ検証、リネージ、監視、アラート、オブザーバビリティの実践を確立する。
- 財務、監査、オペレーション、プロダクト、データサイエンス、エンジニアリングの各チームと協力し、本番環境に対応したデータソリューションを提供する。
- 異常検知、例外の優先順位付け、監査ルール、機械学習スコアリング、生成AIワークフローを実現する。
- 監査チームによる証拠の要約、例外のトリアージ、調査コンテキストの提供、手動レビューの削減を支援する自動化およびデータサービスを作成する。
- 検索対応ドキュメントストア、埋め込みパイプライン、ベクトルデータベース連携、メタデータ拡充、ガバナンスされたナレッジ検索など、生成AIデータエンジニアリングパターンを実装する。
- バッチおよびストリーミングワークロードの信頼性、鮮度、レイテンシー、状態管理、計算効率、下流での使いやすさを改善する。
- 根本原因分析を通じて、データ不整合、パイプライン障害、照合不一致、ソースシステムの問題を調査する。
応募要件
- コンピュータサイエンス、工学、情報技術、データエンジニアリング、分析、数学、統計学、または関連分野の学士号と6年以上の関連経験。あるいは、修士号と4年以上、または博士号と3年以上の関連経験。
- SQL、Python、PySpark、Apache Flinkまたは同等のストリーム処理フレームワーク、および大規模分散データ処理を実務で扱えること。
- dbtまたは同等の変換フレームワーク、Airflowまたは類似のオーケストレーションツール、Kafkaまたは同等のイベントストリーミングプラットフォーム、BigQuery、Hive、Sparkなどのクラウドまたはエンタープライズデータ技術の経験。
- 本番バッチ・ストリーミングパイプライン、ELT/ETLワークフロー、データモデル、再利用可能なデータプロダクトの設計、デプロイ、サポートの実績。
- データモデリング、パーティショニング、パフォーマンスチューニング、増分処理、CDC、スキーマ進化、データ契約、メタデータ管理、リネージ、Apache Hudi、Apache Iceberg、Delta Lakeなどのレイクハウス形式に関する確かな知識。
- 本番パイプライン向けのデータ品質チェック、照合ロジック、検証フレームワーク、オブザーバビリティ、監視、アラート、インシデント解決の提供経験。
- イベント時刻処理、ステートフル変換、チェックポイント、ウォーターマーク、厳密な1回限りまたは実質1回限りの処理、リプレイ・バックフィル戦略を用いたストリーミングソリューションの開発経験。
- 複数のソースシステムから得られる大規模な構造化・半構造化データセットの処理経験。業務定義が一貫しない運用データを含む。
- 財務、監査、オペレーション、プロダクト、データサイエンス、エンジニアリングの各チームを横断して働ける、高い協働能力。
- 最低資格要件の代替条件には、コンピュータサイエンスの学士号とソフトウェアエンジニアリングまたは関連経験3年、ソフトウェアエンジニアリングまたは関連経験5年、またはコンピュータサイエンスの修士号とソフトウェアエンジニアリングまたは関連経験1年が含まれる。
- データエンジニアリング、データベースエンジニアリング、ビジネスインテリジェンス、ビジネスアナリティクスのいずれかで2年以上の経験。
福利厚生
- 業績連動型インセンティブ報酬。
- 出産休暇および育児休暇。
- 有給休暇。
- 健康保険などの福利厚生。