
데이터 엔지니어—Databricks, Snowflake, Spark
Databricks와 Snowflake를 활용해 확장 가능한 데이터 플랫폼을 구축하고 ETL 파이프라인, 데이터 모델, 데이터 수집 프레임워크를 개발합니다. Spark, Python, SQL로 데이터 처리와 분석을 구현합니다.
설명
- 선임 데이터 엔지니어 및 아키텍트와 협력해 확장 가능한 데이터 파이프라인과 워크플로를 구축하고 조정 및 유지 관리합니다
- Databricks, Spark, Python, SQL을 사용해 ETL/ELT 프로세스를 만듭니다
- 정형 및 비정형 데이터를 위한 수집 프레임워크를 설계하고 구현합니다
- Snowflake 데이터 모델, 데이터 마트, 분석 데이터 세트를 구축하고 유지 관리합니다
- 파이프라인을 모니터링하고 문제를 해결해 성능, 안정성, 확장성을 개선합니다
- 비즈니스 이해관계자, 분석가, 데이터 과학자와 협력해 데이터 요구사항을 파악하고 솔루션을 제공합니다
- 아키텍처 논의, 개념 검증, 프로세스 개선에 참여합니다
- 안정적인 운영과 지식 공유를 지원하도록 데이터 흐름, 기술 설계, 구현 내용을 문서화합니다
- 데이터 플랫폼 전반에 데이터 품질, 보안, 거버넌스 기준을 적용합니다
지원 자격
- 컴퓨터 과학, 정보 기술, 공학, 데이터 과학 또는 관련 기술 분야의 학사 또는 석사 학위
- SQL 및 데이터베이스 개념에 대한 탄탄한 기초
- Python 또는 이에 준하는 언어로 프로그래밍할 수 있는 능력
- 데이터 웨어하우징, ETL/ELT 프로세스, 데이터 모델링에 대한 이해
- 수업, 인턴십, 자격증, 해커톤 또는 개인 프로젝트를 통해 Databricks, Apache Spark, Snowflake 또는 클라우드 데이터 플랫폼을 접한 경험
- Azure, AWS 또는 Google Cloud Platform에 대한 기본 지식이 있으면 우대
- 분석 및 문제 해결 능력이 뛰어나고 최신 데이터 엔지니어링 도구를 배우려는 의지
- 명확한 의사소통 능력과 협업 역량



