시니어 데이터 엔지니어, Databricks
Databricks 레이크하우스 파이프라인과 데이터셋을 구축해 보고, 머신러닝, 분석을 지원합니다. 재무, 영업, 공급망, 마케팅 팀과 협업합니다.
설명
- 각 사업 부문의 보고, 시각화, 머신러닝, 의사결정을 지원하는 데이터 파이프라인과 데이터셋을 구축하고 유지합니다.
- Databricks 레이크하우스에서 확장 가능한 파이프라인과 재사용 가능한 데이터셋을 개발합니다.
- Python, PySpark, SQL을 사용해 정형 및 비정형 데이터를 수집, 검증, 정제, 변환합니다.
- Tableau 및 Spotfire와 같은 도구에 사용할 데이터 모델과 보고용 데이터셋을 만듭니다.
- 기존 데이터 웨어하우스와 보고 시스템을 최신 클라우드 분석 플랫폼에 연결합니다.
- 파이프라인의 안정성, 데이터 품질, 처리 속도를 개선합니다.
- 자동화 테스트, 모니터링, 문서화, CI/CD 관행을 정립합니다.
- 분석가, 아키텍트, 개발자, 비즈니스 이해관계자와 협력해 유용한 데이터 솔루션을 제공합니다.
- 기술 업무를 이끌고 코드를 검토하며 동료 데이터 엔지니어를 멘토링합니다.
지원 자격
- 데이터 엔지니어링 경력 7년 이상이며, 프로덕션 데이터 파이프라인을 구축하고 지원한 경험이 있어야 합니다.
- 탄탄한 SQL 역량과 데이터 모델링, 데이터베이스 설계, 데이터 웨어하우징에 대한 충분한 이해가 있어야 합니다.
- Databricks, Apache Spark, 클라우드 데이터 플랫폼의 실무 경험이 있어야 합니다.
- Python과 PySpark를 능숙하게 다룰 수 있어야 합니다.
- ETL/ELT 파이프라인을 구축하고 여러 소스 시스템의 데이터를 연결한 경험이 있어야 합니다.
- Tableau 또는 유사한 비즈니스 인텔리전스 도구에서 사용할 신뢰할 수 있는 데이터셋을 준비한 경험이 있어야 합니다.
- 버전 관리, 자동화 테스트, CI/CD에 익숙해야 합니다.
- 복잡한 데이터 문제를 진단하고 파이프라인 성능을 개선할 수 있어야 합니다.
- 명확한 의사소통 능력과 기술 팀 및 비즈니스 이해관계자와 협업한 경험이 있어야 합니다.
- Spotfire, Oracle, Informatica, R 또는 데이터 가상화 경험이 있으면 우대합니다.
- Databricks 자격증 보유자를 우대합니다.
