
시니어 데이터 엔지니어(원격, 캐나다) — Capgemini
Capgemini의 디지털 전환 서비스를 지원하는 확장 가능한 데이터 처리 애플리케이션과 ETL 파이프라인을 구축합니다. 분석, 보고 및 머신러닝을 위한 분산 워크로드를 최적화합니다.
설명
- Apache 기술과 SQL을 사용해 확장 가능한 데이터 처리 애플리케이션을 생성, 개선 및 지원
- Python과 Scala로 고처리량 ETL 및 데이터 변환 파이프라인 개발
- 배치 및 준실시간 데이터 처리 워크플로 구축과 튜닝
- Parquet, Hive 및 분산 스토리지 플랫폼 전반의 대규모 데이터셋 처리
- 성능이 뛰어난 SQL 쿼리를 작성하고 규모와 효율성을 높이도록 실행 계획 개선
- 데이터 모델, 파티셔닝 방식 및 스토리지 아키텍처 정의
- 데이터 엔지니어, 소프트웨어 엔지니어, 데이터 과학자 및 제품 팀과 협업
- 데이터 애플리케이션을 위한 자동화된 테스트, 모니터링 및 배포 워크플로 수립
- 데이터 품질, 안정성, 보안 및 거버넌스 요구사항 유지
지원 자격
- 컴퓨터 과학, 공학 또는 관련 기술 분야의 학사 또는 석사 학위
- 소프트웨어 엔지니어링 또는 데이터 엔지니어링 분야에서 5년 이상의 실무 경험
- Apache 기술, SQL, Python 및 Scala에 대한 실무 전문성
- 분산 데이터 처리를 위한 애플리케이션 개발 경험
- Hive, Parquet 및 HDFS와 같은 Hadoop 생태계 도구에 대한 탄탄한 지식
- 대규모 데이터를 위한 ETL 파이프라인 생성 및 튜닝 경험
- 뛰어난 SQL 개발 및 쿼리 튜닝 역량
- Linux 시스템 및 셸 스크립팅에 대한 실무 지식
- Git과 같은 소스 관리 도구 사용 경험
- AWS, 분산 컴퓨팅, 대규모 데이터 아키텍처, Airflow 오케스트레이션 및 데이터 레이크 또는 레이크하우스 환경 경험 보유자 우대
복리후생
- 직급에 따라 12~25일의 휴가
- 유급 회사 휴일
- 개인 휴가
- 병가
- 의료, 치과 및 안과 보장 또는 캐나다 주 의료 서비스와의 조정
- 캐나다의 RRSP와 같은 퇴직 저축 프로그램
- 생명 및 장애 보험
- 직원 지원 프로그램
- 기타 복리후생은 현지 정책 및 자격에 따라 결정
- 변동 보상, 보너스 또는 커미션이 제공될 수 있음







