
수석 데이터베이스 분석 엔지니어
유럽 공공 부문 기술 프로젝트를 위한 dbt, PySpark, Apache Iceberg 데이터 파이프라인을 구축하고 최적화합니다. 브뤼셀에 기반을 둔 하이브리드 근무 직무이며, 회사 또는 고객사 사업장에서 근무합니다.
설명
- 안정적이고 확장 가능한 데이터 변환 파이프라인과 워크플로를 구축합니다.
- dbt 프로젝트의 성능을 개선하고 실행 시간을 단축합니다.
- dbt 데이터 품질 검사와 통제 테스트를 만들고 문서화합니다.
- 파이프라인 출력 품질과 일관성을 유지하도록 자동 회귀 테스트와 검증을 설정합니다.
- dbt 프로젝트를 유지하고 발전시키는 팀의 실무 방식을 공유합니다.
- 비즈니스 요구 사항과 분석 문서를 운영 가능한 데이터 변환 파이프라인으로 구현합니다.
- 개발팀 및 주요 고객사의 IT 팀과 현장에서 협업합니다.
지원 자격
- 컴퓨터 과학, 정보 기술, 시스템 엔지니어링 또는 관련 분야의 대학 학위와 관련 IT 경력 12년 이상.
- dbt(가능하면 dbt Core)를 사용해 프로덕션 분석 변환 프로젝트를 설계, 유지 관리, 테스트, 문서화 및 확장한 실무 경험.
- 계층형 아키텍처, 재사용 가능한 매크로, 데이터 품질 관리, CI/CD를 포함한 분석 엔지니어링 및 현대적 데이터 모델링 경험.
- 대규모 데이터 처리를 위한 PySpark 변환 코드 작성 경험. Spark 작업 최적화 경험은 우대합니다.
- 파티션 및 스키마 진화, 스냅샷 관리, 타임 트래블을 포함한 Apache Iceberg 실무 경험.
- Dagster와 같은 작업 오케스트레이션 및 스케줄링 도구 사용 경험.
- SAS ETL 및 레거시 코드베이스에 대한 깊은 지식. SAS 워크플로를 dbt로 마이그레이션한 경험은 큰 우대 사항입니다.
- 복잡한 변환, 성능 최적화, 증분 처리를 포함한 뛰어난 SQL 역량.
- Apache Spark 실행, 파티셔닝, 파일 레이아웃 최적화 및 성능 튜닝에 대한 충분한 이해.
- 레거시 시스템을 dbt와 PySpark로 마이그레이션할 때 필요한 데이터 검증, 대사 및 테스트에 대한 깊은 지식.
- Git, 코드 리뷰, 릴리스 관리, 자동 배포 파이프라인을 포함한 버전 관리 및 협업 개발 지식.
- 영어 구사 능력이 뛰어난 분.
복리후생
- 자격과 경력에 따른 경쟁력 있는 보상.
- 계약 업무 또는 완전한 복리후생을 포함한 보상 패키지 중 선택 가능.
- 지원 절차 비공개 보장.
- 국제적이고 다국어·다문화적인 근무 환경.
- 균등한 고용 기회.
관련 채용공고
