시니어 데이터 엔지니어—Apache Spark(원격, 이집트)
확장 가능한 데이터 처리를 위한 Apache Spark 배치 파이프라인의 개발과 최적화를 주도합니다. 레이크하우스 데이터를 구성하고 신뢰할 수 있는 분석 워크플로 유지 관리를 지원합니다.
설명
- 데이터셋이 확장되어도 효율성과 비용 효율성을 유지할 수 있는 대용량 배치 데이터 파이프라인을 개발하고 운영합니다.
- Apache Spark를 사용해 확장 가능한 데이터 처리 워크로드를 만들고 유지 관리합니다.
- 안정적이고 효율적인 실행을 지원하도록 파이프라인 성능을 튜닝합니다.
- 분석 중심의 데이터 모델 설계에 기여합니다.
- 다운스트림에서 실용적으로 사용할 수 있도록 레이크하우스 데이터를 구성합니다.
- 자동화된 일정 관리, 모니터링 및 데이터 품질 검증을 관리합니다.
- 플랫폼 및 제품 팀과 협업하여 완전한 데이터 흐름을 제공합니다.
지원 자격
- 관리형 노트북 환경에서 사용하는 수준을 넘어선 성능 튜닝을 포함해, 실무에서 입증된 Apache Spark 전문성을 보유해야 합니다.
- 분석 데이터 모델을 설계하고 다운스트림 소비를 위한 레이크하우스 데이터를 구성한 경험이 있어야 합니다.
- 자동화된 일정 관리, 파이프라인 모니터링 및 데이터 품질 검증 경험이 있어야 합니다.
- 플랫폼 및 제품 팀과 협업하며 엔드투엔드 데이터 흐름을 다룰 수 있어야 합니다.
- Apache Iceberg 또는 이에 준하는 개방형 테이블 형식에 익숙해야 합니다.
- Trino 또는 유사한 쿼리 엔진 경험이 있어야 합니다.
- 온프레미스 또는 자체 관리형 클러스터에서 근무한 경험이 있어야 합니다.
