シニアデータエンジニア、データ＆アナリティクス – プネー・ハイブリッド
Pattern Bioscience の広告最適化データシステムをリードし、フィーチャーストアと機械学習推論ワークフローを担当します。 マーケットプレイス広告 API 向けの入札・予算更新を、信頼性と品質管理を維持しながら運用します。
仕事内容
- 多様なソースをレイクハウスに取り込む、スケーラブルな自動バッチパイプラインを構築、デプロイ、サポートする
- 依存関係、リトライ、バックフィル、全量リフレッシュ、安全な再実行を含む、日次および 15 分間隔のマルチ DAG ワークフローを Airflow で管理・改善する
- ワイド結合、ウィンドウ関数、増分マージ、ウェアハウスのサイジング、クエリプロファイリングを用いて分析 SQL を開発・最適化する
- 既存のリーケージ防止およびデータ完全性の基準を維持しながら、フィーチャーストアに特徴量とラベルを追加する
- データセット、S3 と Parquet の転送、トレーニングイメージ、インスタンスサイズ、予測、メトリクスを含む SageMaker のモデル学習とバッチ推論を Airflow で調整する
- データ監査の方法を作成し、外部書き込み前にブロッキング品質チェックを適用する
- 大規模なデータ処理の問題を診断・解決し、障害を調査してオンコールのトリアージに参加する
- マーケットプレイス更新における冪等性、新規データ検出、アクション検証、無効化、監査証跡を保護する
- データサイエンティスト、広告戦略担当者、プラットフォームエンジニアリングチームと連携する
- ROAS 目標、予算ペーシング、プレイブックルール、広告戦略を信頼性の高いデータモデルとパイプラインに変換する
- 担当領域のデータ品質に責任を持ち、データインフラチームと問題解決を調整する
- データエンジニアを指導し、技術的な助言を行い、SQL と DAG の変更をレビューする
応募要件
- データサイエンス、データ分析、情報管理、コンピュータサイエンス、情報技術、関連分野の学士号、または同等の実務経験
- 専門職としての実務経験が 4 年以上あること
- 高度な SQL を含む SQL および Python の実務開発経験が 4 年以上あること
- 最新のデータアーキテクチャ上で本番データパイプラインを構築した経験が 3 年以上あること
- Snowflake、Amazon Redshift、BigQuery などのクラウドデータウェアハウスの経験が 2 年以上あること
- ワークフローオーケストレーターの実務経験があること。Airflow を強く優先する
- SageMaker または同等のプラットフォームを通じて機械学習の学習とバッチ推論をスケジュールした経験
- データセット構築、リーケージ、評価指標、モデルライフサイクル運用など、応用機械学習の概念を理解していること
- 少なくとも S3 と IAM を含む AWS の実務経験があり、列指向ファイル形式に精通していること
- テスト、監視、アラート、根本原因分析を通じてデータ品質を担保した実績
- バージョン管理、コードレビュー、モジュール開発を含む、優れたソフトウェアエンジニアリングおよびスクリプト作成の実践
- 優れたコミュニケーション能力と部門横断の協働能力
- データエンジニアリングチームをリードし、指導できること
- デジタル広告、高度な Snowflake、時系列データ、ビッグデータ、データ品質フレームワーク、分散データプラットフォーム、追加の AWS サービス、データガバナンス、AI コーディングエージェントの経験があれば尚可
福利厚生
- 有給休暇、保険、競争力のある報酬を含む福利厚生
- 有給休暇
- 保険