データエンジニア – プネー、出社勤務
プネーでMerkle向けにAWSベースのデータプラットフォームとETLパイプラインを構築します。SQLとPythonのソリューションを開発し、データ品質を高め、分析業務の提供を支援します。
仕事内容
- AWS上でスケーラブルなETLおよびELTパイプラインを作成する
- 本番ワークロード向けのSQL変換処理とPythonデータパイプラインを開発する
- AWS S3、Glue、EMRを使用してデータ取り込みワークフローを構築する
- パフォーマンスとコストのバランスを取りながら、分析を支えるデータモデルを設計する
- 複数の環境にまたがるパイプラインのデプロイと運用を支援する
- パイプラインのパフォーマンス、信頼性、データ品質を追跡する
- パイプライン障害を調査し、根本原因分析を実施する
- セキュリティ、信頼性、スケーラビリティを向上させるエンジニアリングプラクティスを適用する
- アーキテクトやプロダクトチームと連携し、技術要件を明確にする
- ビジネスおよび分析のニーズを実用的なAWSデータソリューションに変換する
- ドキュメント、コードレビュー、共通のエンジニアリング標準を支援する
- グローバルなデリバリー環境で、個人貢献者としてデータパイプライン、クラウドエンジニアリング、分析活用支援に携わる
応募要件
- 関連する専門職として3～7年の経験があること
- S3、Glue、Athena、Redshift、EMRなどのAWSデータサービスに関する実務知識があること
- クラウドネイティブなデータレイクおよびデータウェアハウスアーキテクチャの設計経験があること
- バッチ処理を理解し、ストリーミングの概念について基本的な知識があること
- 複雑なクエリ、結合、集計、変換にSQLを自信を持って使用できること
- RedshiftまたはAthenaで大規模データセットを扱った経験があること
- データエンジニアリングおよびETL開発にPythonを効果的に使用できること
- PySparkまたはSparkの経験があれば尚可
- データモデリング、変換設計、パフォーマンスチューニングを理解していること
- SparkやPySparkなどの分散処理フレームワークを実務で使用した経験があること
- 構造化データおよび半構造化データを扱えること
- スキーマ進化、データ品質チェック、検証ロジックを理解していること
- Terraformおよび／またはCloudFormationを使用したInfrastructure as Codeの実務知識があること
- データワークロード向けCI/CDパイプラインの基本的な経験があること
- CloudWatchを使用したロギングおよびモニタリングを理解していること
- アーキテクト、DevOps、QA、ビジネス関係者と効果的に協働できること
- 異なる対象者に技術概念を明確に説明できること
- 学士、修士、または同等の学位を取得していること
- AWS Certified Solutions ArchitectまたはDevOps – Professional認定が記載されていること
- Snowflake Core認定が記載されていること
