シニアAWSテクニカルリード、データエンジニアリング — プネー出社
エンタープライズ顧客向けに、スケーラブルなAWSデータプラットフォームの設計と提供をリードします。 SQL、Python、Spark、インフラ自動化を活用し、安全なバッチ処理およびストリーミングパイプラインを構築します。
仕事内容
- エンタープライズ基準を満たすAWSデータエンジニアリングソリューションを設計する
- AWSネイティブ技術とオープンソース技術を使用して、バッチ処理およびストリーミングパイプラインを開発・最適化する
- 分析ワークロード向けのSQL変換とPythonパイプラインを作成する
- スケーラビリティ、性能、コスト効率を考慮してデータをモデル化する
- 開発から本番サポートまでのデータエンジニアリング業務を管理する
- 性能を改善し、コストを管理し、プラットフォーム容量を計画する
- 根本原因分析を通じて、複雑なパイプライン障害や本番障害を診断する
- セキュリティ、信頼性、スケーラビリティの要件を満たすソリューションを提供する
- アーキテクト、プロダクトオーナー、顧客のステークホルダーと協働する
- ビジネスおよび分析のニーズを信頼性の高いAWSデータソリューションに変換する
- 技術見積もり、実装ガイダンス、トレードオフ分析を提供する
- ソリューション計画と技術設計レビューを支援する
- コーディング標準、ドキュメント、データエンジニアリングプラクティスを適用・改善する
- コードレビューと継続的改善に取り組む
- AWS、セキュリティ、規制要件への準拠を維持する
応募要件
- 6～10年の実務経験がある
- Amazon S3、Glue、Athena、Redshiftを含むAWSデータサービスに関する高度な実務知識がある
- クラウドネイティブなAWSデータレイクおよびデータウェアハウスのアーキテクチャを設計できる
- バッチ処理およびストリーミングパイプライン設計を深く理解している
- スケーラブルで耐障害性の高いデータ取り込み・変換ワークフローを構築できる
- 高度なSQLを使用して、変換、集計、分析、性能チューニングを行える
- Amazon RedshiftとAthenaで大規模データセットを扱える
- データエンジニアリングアプリケーション向けに本番品質のPythonを記述できる
- 再利用可能なETLコンポーネント、ユーティリティ、パイプラインを作成できる
- データモデリング、変換、性能最適化の原則を適用できる
- Spark、PySpark、または同等の分散処理フレームワークを使用できる
- 構造化、半構造化、非構造化データを扱える
- スキーマ設計、パーティショニング、クエリ最適化を理解している
- Terraformおよび／またはCloudFormationを使用してInfrastructure as Codeを実装できる
- データプラットフォーム向けのCI/CDパイプラインを構築・維持できる
- DockerやECS/EKSなどのコンテナ化ワークロードを扱える
- ソリューションの品質、性能、本番環境の安定性に責任を持てる
- アーキテクト、DevOps、QA、ビジネスステークホルダーと効果的にコミュニケーションできる
- コンピュータサイエンス、情報システム、データエンジニアリング、または関連分野の学士号または修士号を有する
- AWS Data AnalyticsまたはSolutions Architectの認定を保有し、記載された認定のうち任意の2つを取得している
- Databricks、Snowflake、その他のクラウドデータプラットフォーム認定があれば尚可
- インド標準時12:00～21:00または14:00～23:00のいずれかの時間帯で勤務できる