シニアデータエンジニア – AI・データ | EY チェンナイ
EYはチェンナイでシニアデータエンジニアを募集しています。コンサルティング顧客向けに、拡張性の高いAWSおよびDatabricksソリューションを構築します。データパイプライン、CI/CDデリバリー、エンタープライズ分析基盤が主な担当領域です。
仕事内容
- データソリューションの開発・デプロイライフサイクル全体にわたるCI/CDパイプラインの設計と管理を担当
- 多様なソースシステムとターゲットシステム間のデータマッピングおよび統合を実施
- エンジニアリングパイプラインやデータモデルを含む、データおよびAIソリューションを構築・最適化
- 本番環境向けの高品質なPython、PySpark、SQLコードを記述
- DevOpsのプラクティスを用いて、エンタープライズ規模の本番デプロイを実施
- スプリント計画、レビュー、継続的改善を通じてアジャイル開発に貢献
- データの完全性とコンプライアンスを支えるデータガバナンスおよびデータ品質基準を適用
応募要件
- データおよびAIソリューション、エンジニアリングパイプライン、データモデリング、パフォーマンスチューニングに関する5~8年の実務経験
- データ取り込みフレームワークとスケーラブルなパイプラインの開発経験が豊富であること
- S3、EC2、Glue、Lambda、Secrets ManagerなどのAWSサービスに関する高度な経験
- Databricksの実務経験
- DBT(Data Build Tool)の使用スキル
- ワークフローオーケストレーションにApache Airflowを使用した経験
- Python、PySpark、Spark、Scalaによる高いプログラミング能力
- Git、Jenkins、Apache Subversionの使用経験
- 非常に大規模なデータウェアハウス環境での3年以上の経験
- データウェアハウスアーキテクチャ、ETL/ELTプロセス、レポートまたは分析ツールに関する3年以上の経験
- データエンジニアリング環境でPythonおよび/またはJavaを用いた開発経験
- EMR、Hadoop、Databricks、Hive、PySparkに関する知識
- データガバナンスおよびデータ品質基準に関する深い理解
- 効率的なSparkジョブを開発し、大規模環境でパフォーマンスをチューニングする能力
- 高度なSQLおよびデータクエリのスキル
- 優れた文書および口頭でのコミュニケーション能力
- AWS、Databricks、または同等の専門技術認定があれば尚可
- クラウドおよびエンタープライズ統合技術に関する知識
