시니어 AWS 기술 리드, 데이터 엔지니어링 — 푸네 현장 근무
엔터프라이즈 고객을 위한 확장 가능한 AWS 데이터 플랫폼의 설계와 제공을 주도합니다. SQL, Python, Spark 및 인프라 자동화를 활용해 안전한 배치 및 스트리밍 파이프라인을 구축합니다.
설명
- 엔터프라이즈 표준을 충족하는 AWS 데이터 엔지니어링 솔루션을 설계합니다
- AWS 네이티브 기술과 오픈 소스 기술을 사용해 배치 및 스트리밍 파이프라인을 개발하고 최적화합니다
- 분석 워크로드를 위한 SQL 변환과 Python 파이프라인을 작성합니다
- 확장성, 성능 및 비용 효율성을 고려해 데이터를 모델링합니다
- 개발부터 프로덕션 지원까지 데이터 엔지니어링 업무를 관리합니다
- 성능을 개선하고 비용을 관리하며 플랫폼 용량을 계획합니다
- 근본 원인 분석을 통해 복잡한 파이프라인 및 프로덕션 장애를 진단합니다
- 보안성, 안정성 및 확장성 요구 사항을 충족하는 솔루션을 제공합니다
- 아키텍트, 제품 책임자 및 고객 이해관계자와 협업합니다
- 비즈니스 및 분석 요구 사항을 신뢰할 수 있는 AWS 데이터 솔루션으로 전환합니다
- 기술 견적, 구현 지침 및 트레이드오프 분석을 제공합니다
- 솔루션 계획과 기술 설계 검토를 지원합니다
- 코딩 표준, 문서화 및 데이터 엔지니어링 관행을 적용하고 개선합니다
- 코드 리뷰와 지속적인 개선 업무에 참여합니다
- AWS, 보안 및 규제 요구 사항을 준수합니다
지원 자격
- 6~10년의 실무 경력이 있습니다
- Amazon S3, Glue, Athena 및 Redshift를 포함한 AWS 데이터 서비스에 대한 풍부한 실무 지식이 있습니다
- 클라우드 네이티브 AWS 데이터 레이크 및 데이터 웨어하우스 아키텍처를 설계할 수 있습니다
- 배치 및 스트리밍 파이프라인 설계를 깊이 이해합니다
- 확장 가능하고 장애에 강한 수집 및 변환 워크플로를 구축할 수 있습니다
- 고급 SQL을 사용해 변환, 집계, 분석 및 성능 튜닝을 수행할 수 있습니다
- Amazon Redshift와 Athena에서 대규모 데이터 세트를 다룰 수 있습니다
- 데이터 엔지니어링 애플리케이션을 위한 프로덕션 수준의 Python 코드를 작성할 수 있습니다
- 재사용 가능한 ETL 구성 요소, 유틸리티 및 파이프라인을 만들 수 있습니다
- 데이터 모델링, 변환 및 성능 최적화 원칙을 적용할 수 있습니다
- Spark, PySpark 또는 이에 준하는 분산 처리 프레임워크를 사용할 수 있습니다
- 정형, 반정형 및 비정형 데이터를 처리할 수 있습니다
- 스키마 설계, 파티셔닝 및 쿼리 최적화를 이해합니다
- Terraform 및/또는 CloudFormation을 사용해 코드형 인프라를 구현할 수 있습니다
- 데이터 플랫폼을 위한 CI/CD 파이프라인을 구축하고 유지할 수 있습니다
- Docker 및 ECS/EKS와 같은 컨테이너화된 워크로드를 다룰 수 있습니다
- 솔루션 품질, 성능 및 프로덕션 안정성을 책임질 수 있습니다
- 아키텍트, DevOps, QA 및 비즈니스 이해관계자와 효과적으로 소통할 수 있습니다
- 컴퓨터 과학, 정보 시스템, 데이터 엔지니어링 또는 관련 분야의 학사 또는 석사 학위가 있습니다
- AWS Data Analytics 또는 Solutions Architect 인증을 보유하고 있으며, 나열된 인증 중 두 가지를 보유합니다
- Databricks, Snowflake 또는 기타 클라우드 데이터 플랫폼 인증 보유자는 우대합니다
- 인도 표준시 기준 12:00~21:00 또는 14:00~23:00 중 한 시간대에 근무할 수 있습니다