ClickBus 중급 데이터 엔지니어
ClickBus 버스 티켓 마켓플레이스를 위한 배치 및 스트리밍 데이터 파이프라인을 구축하고 최적화합니다. AWS, Spark, Airflow, dbt와 데이터 품질 관행을 활용해 성능, 비용, 안정성을 개선합니다.
설명
- EKS의 Airflow, EMR/Spark, dbt를 사용해 배치 및 스트리밍 파이프라인을 구축하고 유지보수하며 개선한다
- DMS, API, 파일, 이벤트를 위한 수집 프로세스를 만들고 데이터 레이크 계층 전반에서 데이터를 구성한다
- DAG 실패, 처리 오류, 지표 불일치, 스키마 문제를 포함한 파이프라인 장애를 진단하고 해결한다
- 근본 원인 분석을 수행하고 반복적인 장애를 방지할 변경 사항을 제안한다
- 자동화된 테스트, 검증 검사, 조정 프로세스를 통해 데이터 품질을 유지한다
- Spark 및 dbt 변환을 개발하고 튜닝해 성능을 높이고 비용을 관리한다
- Athena 쿼리와 dbt 모델을 최적화해 처리 비용을 낮추고 응답 시간을 개선한다
- 일관되고 멱등성 있는 처리를 통해 추가, 덮어쓰기, 병합/업서트 증분 로드를 구현한다
- 데이터 아키텍처가 발전함에 따라 기술 개선과 표준화에 기여한다
- 코드 리뷰를 수행하고 버전 관리와 기술 문서화에 대한 올바른 관행을 적용한다
- 비즈니스 팀과 협업해 제공된 데이터가 기능적 요구사항을 충족하는지 확인한다
- 파이프라인 실행을 모니터링하고 지속적인 개선 기회를 파악한다
지원 자격
- 클라우드 환경에서 데이터 엔지니어로 근무한 검증된 경험
- 프로덕션 데이터 파이프라인을 구축하고 운영한 실무 경험
- 데이터 장애를 문제 해결하고 처리한 경험
- 팩트 테이블과 차원 테이블을 사용해 분석 모델을 설계한 경험
- 증분 로딩 전략과 데이터 파티셔닝에 대한 지식
- S3, Athena, IAM, Glue Catalog를 포함한 AWS 서비스 실무 지식. EMR 경험 보유 시 우대
- Airflow DAG를 생성하고 유지보수한 경험
- 조인, 파티셔닝, 기본적인 성능 튜닝을 포함한 실무 PySpark 역량
- dbt 모델링, 증분 모델, 테스트 경험
- 고급 SQL 역량
- Python 프로그래밍 역량
- Git 사용 경험
복리후생
- Flash 카드를 통해 매월 1,100 브라질 헤알의 식사 또는 식품 수당 제공
- Flash 카드를 통해 매월 149 브라질 헤알의 재택근무 수당 제공
- Flash 카드를 통해 매월 200 브라질 헤알의 유연 복지 수당 제공
- 앱 또는 웹사이트에서 버스 티켓 구매에 사용할 수 있는 연간 2,000 브라질 헤알의 Busonauta Viajante 혜택
- 교통 수당
- 주차 혜택
- 본인부담금과 월 보험료가 없는 SulAmérica 건강보험
- Bradesco 치과보험
- 어머니와 아버지를 위한 보육 지원
- 6개월의 출산휴가 및 30일의 배우자 출산휴가
- 생명보험
- Wellhub 및 TotalPass 이용
- 연간 이익 공유 보너스
- 생일 당일 휴가
- Petlove 제휴 혜택
- 약국 지원
- 장애 아동 지원
- 교육 및 여가 기관 제휴 혜택
