シニアデータエンジニア、データレイク（ブラジルリモート）
Visa の企業データレイク向けに、Spark、Databricks、Airflow のパイプラインを構築・保守します。 データ品質、オーケストレーション、信頼性の高いセルフサービス型のデータアクセスを改善します。
仕事内容
- PySpark と SparkSQL を使用して、Databricks のデータ取り込み、変換、データ品質パイプラインを開発、テスト、保守する。
- データワークフローをオーケストレーションする MWAA Airflow DAG を作成・更新する。
- 変換および検証タスク用の SQL を作成し、最適化する。
- Great Expectations または同等のツールを使用して、データ品質チェックを実装・監視する。
- コードレビューに参加する。
- シニアエンジニアのサポートを受けながら、パイプライン障害やデータ品質の問題をトラブルシューティングする。
- データセットとパイプラインのドキュメントを作成・更新する。
- スプリント計画、見積もり、レトロスペクティブに参加する。
- チームの CI/CD、テスト、ガバナンス標準を適用する。
- Visa の企業データレイクの信頼性と品質向上に貢献する。
応募要件
- ブラジルを拠点としていること。
- B2 以上（中上級）の英語コミュニケーション能力。
- 関連分野で 3 年以上の経験と学士号または短期大学士号を有すること、または関連分野で 5 年以上の経験を有すること。
- 自動化およびデータ処理に Python を使用できること。
- バッチデータパイプラインと ETL/ELT パターンを理解していること。
- PySpark または SparkSQL を含む Apache Spark の基礎知識。
- Databricks のジョブ、ワークフロー、クラスター管理、パフォーマンスチューニングを扱えること。
- 結合、ウィンドウ関数、CTE を含む中級から上級の SQL を使用できること。
- パーティショニング、レイアウト、ライフサイクル管理を含む Amazon S3 データレイク設計を理解していること。
- S3、IAM、CloudWatch を含む AWS の基本概念を理解していること。
- ディメンショナルモデリングまたは Kimball モデリング、およびメダリオンレイヤーアーキテクチャを理解していること。
- Git/GitHub のワークフローを使用し、コードレビューに参加できること。
- Delta Lake、Apache Airflow/MWAA、CDC パターン、データ品質の概念、Terraform の基礎、または Superset などの BI 連携やダッシュボード作成の経験があれば尚可。
福利厚生
- リモート勤務。
- 大規模な環境で影響を与える機会。
- 意義のある仕事を通じた専門能力の開発とスキル向上。
- リモート勤務者には、事前に通知されたうえで Visa オフィスで勤務する機会が設定される場合があります。
