
Synechron GCP 빅데이터 엔지니어—Python, Spark, 벵갈루루 온사이트
Synechron의 엔터프라이즈 분석 플랫폼을 위한 안전하고 확장 가능한 데이터 파이프라인을 구축합니다. GCP, Spark, Python 및 ETL/ELT 기술을 활용해 신뢰할 수 있는 데이터 솔루션을 제공합니다.
설명
- GCP에서 확장 가능한 데이터 파이프라인과 데이터 관리 솔루션을 설계하고 최적화합니다
- 엔터프라이즈 분석 및 리포팅을 위한 복원력 있는 파이프라인을 구축하고 유지합니다
- 이해관계자, 데이터 과학자 및 분석 팀과 협업하여 워크플로를 개선합니다
- 데이터 품질, 보안, 거버넌스, 암호화, 액세스 제어 및 규정 준수 관행을 적용합니다
- 성능과 비용 효율성을 높이기 위해 수집, 변환 및 처리를 개선합니다
- 데이터를 프로파일링하고 파이프라인 장애를 해결하며 운영 문제를 처리합니다
- 워크플로를 자동화하고 코드형 인프라를 관리하며 배포 파이프라인을 지원합니다
- 아키텍처, 워크플로, 절차 및 운영 지침을 문서화합니다
- 스프린트 계획, 리뷰 및 지속적인 개선에 기여합니다
- 데이터 엔지니어링 관행을 추적하고 제공 역량을 개선하는 이니셔티브를 주도합니다
지원 자격
- BigQuery, Dataflow, Cloud Storage 및 Cloud Pub/Sub와 같은 GCP 서비스에 대한 풍부한 경험
- 분산 데이터 처리 및 분석을 위한 Apache Spark 숙련도
- ETL/ELT 데이터 파이프라인 구축 및 유지 관리 실무 경험
- 스크립팅, 자동화 및 오케스트레이션을 위한 Python 숙련도
- PostgreSQL, MySQL 및 MongoDB를 포함한 분산 데이터 저장소 관리 경험
- Git에 대한 이해
- Linux 및 Unix 환경에 대한 실무 지식
- 데이터 거버넌스, 메타데이터 관리 및 데이터 보안 경험 우대
- Apache Airflow 또는 Prefect 지식 우대
- Docker 및 Kubernetes 이해도 우대
- GCP 및 빅데이터 생태계에 중점을 둔 5년 이상의 실무 데이터 엔지니어링 경험
- 대규모 엔드투엔드 데이터 파이프라인과 워크플로를 설계하고 제공한 경험
- 분산 처리, 데이터 보안 및 인프라 자동화에 대한 검증된 전문성
- 엔터프라이즈 또는 대규모 데이터 플랫폼을 지원하는 애자일 팀에 참여한 경험
- 컴퓨터 과학, 데이터 과학, 정보 기술 또는 관련 분야의 학사 또는 석사 학위
- Hadoop, Spark, Dataflow 및 기타 GCP 또는 빅데이터 처리 프레임워크에 대한 풍부한 경험
- 엔터프라이즈 분석을 위한 견고하고 확장 가능하며 안전한 파이프라인을 구축하는 능력
- 분산 데이터 환경에서 뛰어난 분석 및 문제 해결 능력
- 명확한 커뮤니케이션 능력과 효과적인 협업 역량
- 모범 사례를 확산하고 주니어 팀원을 멘토링하는 리더십 역량
- 전략적 사고와 효과적인 시간 관리 능력
복리후생
- 유연한 근무 방식
- 멘토링 기회
- 사내 경력 이동 기회
- 학습 및 전문성 개발 프로그램







