シニア Google Cloud データエンジニア
建材企業向けに集中型の Google Cloud データハブを構築し、データパイプラインの作成とメダリオンアーキテクチャの適用を担います。
仕事内容
- ERP、品質・生産システム、ポータル、スプレッドシートなど、さまざまなソースからのデータ取り込みパイプラインを作成・保守します。
- Apache Airflow を使用して、データ抽出、スケジューリング、障害処理をオーケストレーションします。
- メダリオンアーキテクチャの Bronze、Silver、Gold レイヤーを適用し、生データを Cloud Storage に保存して BigQuery でモデリングします。
- 顧客、製品、サードパーティを含む業務エンティティと共有マスターデータをモデリングします。
- ダッシュボードで使用するセマンティックレイヤーを支援します。
- ハブ内のデータをソースシステムと照合し、品質と一貫性を維持します。
- AI および機械学習モデルで使用する Gold レイヤーのエンティティを準備します。
- コードのバージョン管理を行い、開発、ステージング、本番環境へのデプロイを管理します。
- パイプラインの実行を監視して障害を解決し、手動介入を必要としない運用を目指します。
- パイプライン、データモデル、技術的な決定事項を文書化します。
- 最終納品時にクライアントチームのトレーニングを支援します。
- 週次レビューに参加し、業務チームと成果物を検証します。
- アーキテクチャおよびデータサイエンスの同僚と多職種チームで連携し、大手建材企業向けの集中型 Google Cloud データハブを構築します。
応募要件
- クラウドデータプロジェクトにおけるデータエンジニアとしての経験が 5 年以上あること。
- Google Cloud、特に BigQuery と Cloud Storage の経験が 3 年以上あること。
- Apache Airflow を使ったパイプラインのオーケストレーション経験が 3 年以上あること。
- SQL に精通し、分析用データモデリングの専門知識があり、関連経験が 5 年以上あること。
- Python でデータパイプラインを構築した経験が 4 年以上あること。
- メダリオンアーキテクチャと Bronze、Silver、Gold の各レイヤーに関する知識。
- ERP、API、ファイル、スプレッドシートなど、複数ソースのデータ統合経験。
- バージョン管理と、環境をまたいだコードのデプロイ経験。
- Google Cloud 認定資格があれば尚可。
- 企業の ERP システムからのデータ抽出経験があれば尚可。
- 税務、財務、または産業データに関する知識があれば尚可。
- 機械学習モデル向けのデータ準備経験があれば尚可。
- コンサルティングプロジェクトの経験があれば尚可。
- Google Cloud(BigQuery と Cloud Storage)、Apache Airflow、SQL、Python の実務経験が必須です。
福利厚生
- 継続的な専門能力開発。
- リモート勤務。
- 障害のある方も含め、多様な候補者の応募を歓迎します。
関連求人
求人が見つかりません
フィルターを調整またはクリアして、他の求人を探してみてください。
