
PySpark 데이터 엔지니어
YASH Technologies에서 확장 가능한 PySpark 데이터 파이프라인을 구축합니다. Microsoft Fabric, Spark SQL, Lakehouse, Data Factory를 활용해 ETL/ELT 워크플로를 개발합니다.
설명
- Microsoft Fabric에서 PySpark를 사용해 확장 가능한 데이터 처리 솔루션을 만듭니다
- 대규모 정형 및 반정형 데이터 세트를 위한 ETL/ELT 파이프라인을 구축하고 개선합니다
- Fabric Notebooks, Lakehouse, Data Factory Pipelines를 사용해 데이터 수집, 변환, 집계 워크플로를 개발합니다
지원 자격
- 관련 경력 3~5년
- PySpark를 사용해 Microsoft Fabric에서 확장 가능한 데이터 처리 솔루션을 설계하고 개발합니다
- 대규모 정형 및 반정형 데이터 세트를 위한 ETL/ELT 파이프라인을 구축하고 최적화합니다
- Spark DataFrames와 Spark SQL을 사용합니다
- Fabric Notebooks, Lakehouse, Data Factory Pipelines를 사용해 데이터 수집, 변환, 집계 워크플로를 개발합니다
복리후생
- 유연한 근무 방식
- 포용적인 팀 환경
- 커리어 중심의 역량 개발 모델
- 지속적으로 배우고, 기존 지식을 갱신하고, 새롭게 익힐 기회
- 안정적인 고용
- 환영받는 직장 분위기
- 윤리적인 기업 문화









