Brillio 하이브리드 데이터 엔지니어—dbt 및 Snowflake
Brillio에서 데이터 엔지니어로 합류해 가격 책정 로직을 역설계하고 거버넌스가 적용된 Silver 계층 dbt 모델로 재구축합니다. 결과의 동등성을 검증하고 데이터 계보를 문서화하며, 분석가의 승인 후 기존 Gold 계층 정의를 폐기합니다.
설명
- 가격 분석가와 협업해 Gold 계층의 정의, 계산, 변환, 종속성, 가정, 엣지 케이스 및 모호한 부분을 파악한다
- 분석가의 SQL, 스프레드시트 수식 및 임시 계산을 역설계해 의도된 비즈니스 동작을 확립한다
- 레거시 로직을 명확한 기술 요구사항과 실행 가능한 마이그레이션 계획으로 전환한다
- 승인된 가격 정의를 거버넌스가 적용되고 재사용 가능하며 문서화된 Silver 계층 dbt 모델로 구축한다
- 확립된 데이터 모델링, 명명, 테스트, 버전 관리 및 코드 리뷰 표준을 적용한다
- 문서화되지 않은 분석가 지식에 의존하지 않는 확장 가능하고 유지보수 및 감사가 용이한 모델을 만든다
- dbt 테스트를 구현해 고유성, NULL 허용 여부, 허용 값, 관계 및 비즈니스 규칙을 검증한다
- Silver 계층 출력과 기존 Gold 계층 결과를 대조하고 차이를 조사한다
- 대표적인 기간, 세그먼트, 경계 조건 및 알려진 예외 전반에서 마이그레이션 결과를 테스트한다
- 동등성 검토와 가격 분석가의 승인을 거쳐 마이그레이션을 완료한다
- 가격 분석가와 협업해 계산을 명확히 하고 의도된 동작을 확인하며 기대 결과에 합의한다
- 레거시 정의를 폐기하기 전에 워크스루와 검토를 진행하고 분석가의 승인을 기록한다
- 위험, 미해결 질문, 종속성 및 결정 사항을 기술 및 비즈니스 이해관계자에게 지속적으로 공유한다
- dbt와 Confluence에 비즈니스 배경, 계산 규칙, 가정, 예외, 입력, 소유권, 데이터 계보, 테스트 및 다운스트림 사용자를 기록한다
- Silver 계층 대체 모델이 검증·승인·도입되고 다운스트림 종속성이 업데이트된 후 임시 Gold 계층 로직을 폐기한다
- 폐기된 로직이 더 이상 사용되지 않음을 확인하고 새로운 단일 기준 정보를 반영하도록 운영 문서를 업데이트한다
지원 자격
- 분석 데이터 플랫폼 데이터 엔지니어링 경력 5~8년
- 조인, 윈도 함수, CTE, 집계, 조건부 로직 및 최적화를 포함한 고급 SQL 능력
- 모델, 테스트, 문서화 및 데이터 계보를 포함한 실무 dbt 경험
- 데이터 모델링, 성능 튜닝 및 데이터 웨어하우스 개념을 포함한 강력한 Snowflake 지식
- 복잡한 분석 로직을 리팩터링, 마이그레이션 또는 현대화한 경험
- 임시 SQL 및 스프레드시트 계산을 해석하고 그 결과를 검증하는 능력
- 데이터 품질, 대조, 테스트 및 릴리스 제어에 대한 높은 이해도
- 엔지니어링 외 이해관계자와 협업해 요구사항을 명확히 하고 결과를 검증하는 능력
- 명확한 커뮤니케이션 능력과 체계적인 문서화 습관
- Python 경험 우대
- Airflow, Confluence, Jira 및 Slack 사용 경험
- 데이터 모델링, 품질 검증, 대조, 마이그레이션 계획, 이해관계자 협업 및 기술 문서화를 아우르는 경험
