중급/시니어 Azure Databricks 데이터 엔지니어 - 콜롬비아 원격 근무
GFT Technologies에서 Azure와 Databricks 데이터 파이프라인 및 클라우드 아키텍처를 설계하고 최적화합니다. 분석, 인공지능, 머신러닝을 위한 신뢰할 수 있는 데이터를 준비합니다.
설명
- Azure 및 Databricks 기반 데이터 아키텍처 설계, 구축 및 최적화
- 여러 정보 소스를 통합하기 위한 ETL 및 ELT 프로세스 구현
- Data Lake 및 Lakehouse 아키텍처 설계 및 관리
- 일관성, 품질, 추적 가능성 및 보안을 보장하기 위한 데이터 파이프라인 모니터링
- 고급 분석, 보고서 및 머신러닝 모델을 위한 데이터셋 준비 및 최적화
- BI, 분석 및 데이터 과학 팀과 협업하여 정보 접근성 개선
- 데이터 거버넌스 및 품질 관리 정의와 구현
- 데이터 솔루션을 위한 지속적 통합 및 지속적 배포 프로세스 구현
- 분산 처리 및 대용량 데이터를 위한 확장 가능한 솔루션 설계
- 비용, 성능 및 처리 시간을 최적화할 수 있는 개선 사항 발굴
- 데이터 플랫폼 발전을 위한 새로운 기술과 모범 사례 평가
지원 자격
- 시스템공학, 산업공학, 전자공학, 메카트로닉스공학 또는 관련 분야 학위
- 데이터 엔지니어 경력 3~5년
- 고급 SQL 활용 능력
- Python 또는 Scala 사용 경험
- PySpark를 활용한 분산 처리 경험
- Azure Databricks 경험
- Azure Data Factory 경험
- Azure Data Lake Storage Gen2(ADLS Gen2) 경험
- Delta Lake 지식
- Lakehouse 아키텍처 경험
- Medallion 아키텍처 지식
- 차원 모델링 경험
- 관계형 데이터베이스 경험
- NoSQL 데이터베이스 경험
- 데이터 거버넌스 및 품질 지식
- Unity Catalog 경험
- Delta Live Tables(DLT) 경험
- Great Expectations 지식
- Event Hubs를 통한 스트리밍 처리 경험
- Azure DevOps 및 Git 경험
- Entra ID 지식
- RBAC 지식
- Power BI 활용 능력
- Visual Studio Code 활용 능력
- 데이터 통합 및 ETL/ELT 프로세스 경험
- 데이터 분석 및 모델링 경험
- Azure Data Engineering 자격증 보유자 우대
- 인공지능 및 머신러닝 프로젝트 경험자 우대
- DataOps 및 데이터 플랫폼 자동화 지식 보유자 우대
복리후생
- 유연한 근무 시간
- 원격 근무
- 개인 맞춤형 경력 개발 계획
- 교육 프로그램
- 다학제 팀에서 근무
- 다양성을 갖춘 글로벌 팀
- 업계를 선도하는 고객과 함께하는 영향력 높은 프로젝트