ジュニアデータエンジニア
Stefanini LATAMでジュニアデータエンジニアとして、Google Cloud上で稼働するETLおよびELTパイプラインを開発します。Python、SQL、Spark、BigQuery、Airflowを使用して、クラウドデータソリューションを構築します。
仕事内容
- バッチ処理およびイベント駆動型のETL・ELTデータパイプラインを設計、開発、保守する
- Google Cloud Platform上でデータ処理およびストレージソリューションを実装する
- Python、SQL、SparkまたはPySparkを使用してデータ処理を構築する
- BigQuery、Cloud Storage、Dataflow、Dataproc、Pub/Subを使用する
- AirflowとCloud Composerを使用してオーケストレーションワークフローを実装・保守する
- Data Lake、Data Warehouse、Lakehouseアーキテクチャの開発と進化に貢献する
- 情報処理および分析向けのデータモデルを設計・最適化する
- CI/CDおよびInfrastructure as Codeのプラクティスを通じてプロセスとデプロイを自動化する。Terraformが望ましい
- データの品質、完全性、トレーサビリティ、可用性を管理する仕組みを確立する
- パフォーマンス、スケーラビリティ、効率的なリソース利用に向けて、パイプライン、クエリ、プロセスを最適化する
- クラウドデータプラットフォームの移行およびモダナイゼーション施策に貢献する
- アーキテクチャ、データサイエンス、BI、開発、ビジネスの各チームと連携する
- 実装したアーキテクチャ、パイプライン、モデル、ソリューションを文書化する
- チームに技術サポートを提供し、データエンジニアリングのベストプラクティスを推進する
応募要件
- Google Cloud Platform（GCP）の知識
- BigQuery、Cloud Storage、Dataflowおよび／またはDataproc、Pub/Sub、Python、高度なSQL、Apache SparkまたはPySparkの経験または知識
- ETLおよびELTパイプラインの開発経験
- データモデリングと変換に関する知識
- オーケストレーションに使用するAirflowまたはCloud Composerの知識
- dbtおよび／またはDataform、Terraform、Git、CI/CDプロセスの知識があれば望ましい
- Data Lake、Data Warehouse、Lakehouseアーキテクチャの知識
- Hadoopおよび／またはKafkaの知識
- リレーショナルデータベースおよびNoSQLデータベースの知識
- 機械学習および／またはVertex AIの知識
- データガバナンスとデータ品質に関する知識
福利厚生
- 具体的な福利厚生は記載されていません。Stefaniniの福利厚生セクションはありますが、詳細は提供されていません
