데이터 엔지니어 컨설턴트—Databricks 및 Azure(멜버른 현장 근무)
Databricks를 사용해 확장 가능한 Azure 데이터 파이프라인과 PySpark 변환을 구축합니다. 금융 서비스 분야의 분석 및 데이터 과학 프로그램을 지원합니다.
설명
- Azure Data Factory, Databricks 및 Apache Spark를 사용해 확장 가능한 수집 파이프라인을 구축하고 개선한다
- 데이터 과학 이니셔티브를 지원하는 데이터 준비, 변환 및 보강용 PySpark 노트북을 개발하고 유지 관리한다
- 데이터 과학자와 협업해 요구사항을 명확히 하고 신뢰할 수 있는 구조화 데이터 세트를 일정에 맞춰 제공한다
- 데이터 품질 관리, 검증 규칙 및 모니터링 프로세스를 수립한다
- 정형, 반정형 및 비정형 데이터 소스를 연결하고 처리한다
- 데이터 솔루션에 보안, 거버넌스 및 금융권 컴플라이언스 기준을 적용한다
- Azure Spark 워크로드를 튜닝해 성능을 향상하고 비용을 관리한다
- 코드 리뷰, 솔루션 설계 세션 및 애자일 세레모니에 참여한다
- 파이프라인, 워크플로 및 기술적 의사결정을 다루는 문서를 유지 관리한다
지원 자격
- Azure Databricks 실무 경험이 3년 이상 있어야 한다
- Apache Spark에 대한 높은 전문성을 보유하고 특히 분산 처리를 위한 PySpark에 능숙해야 한다
- Azure Data Factory, Azure Synapse, Azure Blob Storage 및 Delta Lake 경험이 있어야 한다
- ETL/ELT 워크플로, 데이터 모델링 및 데이터 웨어하우징 원칙을 이해해야 한다
- 데이터 처리에 Python 및/또는 Scala를 사용할 수 있어야 한다
- Azure DevOps, Git 및 Terraform을 사용한 CI/CD 워크플로 경험이 있으면 우대한다
- SQL, NoSQL 및 데이터 레이크 아키텍처에 익숙해야 한다
- 금융 서비스 분야의 데이터 거버넌스, 보안 및 컴플라이언스 관행을 이해해야 한다
- 뛰어난 분석력과 문제 해결 능력을 갖춰야 한다
- 이해관계자와 효과적으로 소통할 수 있어야 한다
- 직무 간 협업 팀에서 생산적으로 일할 수 있어야 한다
- 애자일 마인드를 갖추고 Scrum 또는 유사한 환경에서 경험이 있어야 한다
- 호주 시민권을 보유해야 한다
- 보안 허가를 취득할 자격이 있어야 한다
- 컴퓨터 과학, 정보 시스템, 공학 또는 관련 분야의 학사 또는 석사 학위가 있으면 우대한다
- Databricks Certified Data Engineer Associate 또는 Professional 자격증 보유 시 우대한다
- 은행 또는 금융 서비스 업계 경험이 있으면 매우 우대한다
