ViXストリーミングプラットフォーム主任データエンジニア
TelevisaUnivisionのViXサービスを支える大規模なストリーミングおよびバッチデータ基盤の設計と運用を統括します。 リアルタイムパイプラインの信頼性、コスト効率、エンジニアの育成を推進します。
仕事内容
- ViXを支える大規模データパイプラインを構築、運用します。
- データ基盤のアーキテクチャと長期的な技術方針を策定します。
- 複雑なリアルタイムおよびバッチデータエンジニアリングの課題に自ら取り組みます。
- ジュニアおよび中堅エンジニアを指導し、エンジニアリング基準を強化します。
- リファレンス実装、フレームワーク、再利用可能なライブラリ、データ取り込みテンプレート、dbtとAirflowのパターン、Pulumiのインフラストラクチャモジュールを作成します。
- Pub/SubとDataflowのパイプライン設計を主導し、スキーマとその進化、厳密に1回の処理、ウォーターマーク、遅延到着データを扱います。
- 設計、開発からテスト、デプロイ、本番環境のサポートまで、パイプラインを一貫して管理します。
- データの品質、完全性、セキュリティ、可用性を維持します。
- プロダクトマネージャー、データサイエンティスト、アナリスト、エンジニアリングチームと連携し、ビジネスニーズを技術的な解決策にします。
- データアーキテクチャの意思決定とプラットフォームの長期戦略に貢献します。
- プロセスと運用効率を改善する方法を見つけます。
- ストレージ、処理、オーケストレーション、BigQueryクエリ、データ保存にかかるコストを削減します。
- パイプラインとプラットフォームの問題を監視、解決し、インシデントレビューに参加します。
- データガバナンス、オブザーバビリティ、テスト、CI/CDの実践を適用します。
- 重大なデータインシデントへの対応を主導し、非難のない事後検証を行い、恒久的な改善を推進します。
- コードレビュー、技術面接、アーキテクチャの意思決定、エンジニアリング手法の改善に参加します。
- AI支援型のエンジニアリングワークフローやLLMベースのデータツールなど、新しい技術を評価し導入します。
応募要件
- コンピューターサイエンス、工学、情報システム、または関連する技術分野の学士号もしくは修士号、または同等の経験。
- データエンジニアリング、データウェアハウス、またはビッグデータ環境での実務経験が12年以上。
- チーム横断で方針を定めるテクニカルリードとしての経験が2年以上。
- ジュニアおよび中堅エンジニアの指導・育成経験。
- 毎日数十億件のイベントを処理するシステムなど、大規模な本番リアルタイムデータ基盤を設計、運用した実績。
- BigQuery、Pub/Sub、Dataflow(Apache Beam)、Cloud Composer(Airflow)、Cloud StorageなどのGCPサービスに精通していること。AWSの経験も考慮します。
- PythonとSQLの高度なスキル、およびdbtの本番環境での実務経験。
- イベント時間と処理時間、ウィンドウ、ウォーターマーク、厳密に1回の配信、バックプレッシャーなど、ストリーム処理の概念を深く理解していること。Kafka、Flink、またはSparkの経験。
- ディメンショナルモデリングやイベントモデリングなどの分析データモデリング、およびApache Icebergなどのレイクハウス形式に関する深い知識。
- PulumiまたはTerraformによるInfrastructure as Code、CI/CD、自動データパイプラインテストの豊富な経験。
- SLO、オブザーバビリティ、インシデント管理、事後検証を通じてデータ信頼性を担う経験。
- クラウドデータ基盤のコストを大規模に削減した実績。
- 設計文書の作成や、技術者および経営層への説明を含む、優れた文章力、会話力、プレゼンテーション力。
- 米国で就労する資格を有していること。
- 現在、米国でフルタイム就労する資格を有していること。
- 職歴および学歴の確認を行います。
福利厚生
- 有給休暇。
- 授業料補助。
- ウェルネスプログラム。
- 従業員支援プログラム。
- 401(k)プラン。
- 生命保険およびその他の保険プラン。
- 医療保険。
- 歯科保険。
- 視力保険。
関連求人
求人が見つかりません
フィルターを調整またはクリアして、他の求人を探してみてください。
