データ分析エンジニア アソシエイト――FINNOMENA、タイ・ハイブリッド勤務
SQL、Python、PySparkのパイプラインを担当し、Google Cloudでのデータ取り込み、データ品質、監視、分析支援に取り組みます。 バッチおよびストリーミングデータパイプラインの開発・保守と、下流分析向けデータの準備を支援します。
仕事内容
- SQL、Python、PySparkを使用して、担当するバッチETLおよびELTワークフローを構築・保守する
- データベース、API、ファイル、Google Workspaceの各ソースからのデータ取り込みを支援する
- 基本的なデータクレンジング、変換、ソースからターゲットへの検証を行う
- Google Cloud Pub/SubとDatastreamを使用したストリーミングパイプラインの開発・保守に貢献する
- 欠損、重複、不正、遅延データのチェックを作成・保守する
- バッチおよびストリーミングワークフロー、データの鮮度、パイプライン全体の健全性を追跡する
- ログを確認し、定常的な問題を解決し、より複雑なインシデントをエスカレーションする
- 承認済みのパイプライン再実行とデータ再処理を支援する
- 下流の分析やレポートに使用するデータセットを準備する
- パイプラインのステータスとデータ品質を追跡するダッシュボードの保守を支援する
- データマッピング、変換ロジック、検証基準、トラブルシューティング手順を記録する
- Gitを使用し、コードレビューとリリース前テストに参加する
応募要件
- 新卒者および関連経験が2年以内の候補者を歓迎する
- SQL、Python、PySparkの実務知識がある
- バッチETLおよびELTワークフローを構築・保守できる
- データベース、API、ファイル、Google Workspaceの各ソースからのデータ取り込みを支援できる
- データクレンジング、変換、ソースからターゲットへの検証に関する実務を理解している
- Google Cloud Pub/SubとDatastreamで構築されたストリーミングパイプラインに貢献できる
- データ品質チェックを作成・保守できる
- パイプラインを監視し、ログを確認して定常的な問題を解決できる
- データマッピング、変換ロジック、検証基準、トラブルシューティング手順を文書化できる
- Git、コードレビュー、ソフトウェアテストの経験または知識がある
- BigQuery、Dataform、Google Cloud Storage、Managed Service for Apache Airflow、Managed Service for Apache Spark、Pub/Sub、DatastreamなどのGoogle Cloudサービスに慣れている
福利厚生
- チームのGoogle Cloudデータプラットフォームを実務で扱う経験
- 経験豊富な同僚によるメンタリングとコードレビューのサポート