시니어 Databricks 데이터 엔지니어
폴란드에서 원격으로 Databricks 플랫폼과 데이터 파이프라인을 구축합니다. 일본의 대형 금융 그룹을 위한 고객용 뱅킹 앱 개발에 참여합니다.
설명
- 확장 가능한 Databricks 데이터 플랫폼과 파이프라인을 구축하고 유지 관리합니다.
- 여러 직군의 팀과 협업하여 분석 및 비즈니스 인텔리전스에 필요한 신뢰할 수 있고 접근하기 쉬운 데이터를 제공합니다.
- Bronze, Silver, Gold 레이크하우스 계층을 사용해 Medallion Architecture를 구현합니다.
- 자동화 테스트와 모니터링을 포함한 데이터 품질 프레임워크를 구축합니다.
- Delta Lake의 타임 트래블, vacuum 작업, Z-ordering을 활용합니다.
- 대규모 일일 데이터셋을 위한 복잡한 ETL/ELT 파이프라인을 개발하고 유지 관리합니다.
- Databricks Asset Bundles 또는 유사한 도구로 데이터 파이프라인의 CI/CD 워크플로를 설정합니다.
- Structured Streaming과 Delta Live Tables를 사용해 배치 및 실시간 처리 솔루션을 구축합니다.
- 클러스터 자동 확장과 리소스 관리를 통해 Spark 작업의 성능과 비용 효율성을 개선합니다.
- Databricks API를 외부 시스템과 통합합니다.
- Unity Catalog, Delta Lake, Apache Spark를 사용해 확장 가능한 데이터 아키텍처를 설계합니다.
- 거버넌스와 데이터 계보 추적 기능을 갖춘 데이터 메시 아키텍처를 구축합니다.
- 일본의 선도적인 금융 그룹을 위한 고객용 뱅킹 애플리케이션 개발에 참여합니다.
지원 자격
- 데이터 엔지니어링 경력 6년 이상을 보유해야 합니다.
- 프로덕션급 데이터 파이프라인과 ETL/ELT 워크플로를 설계하고 배포한 탄탄한 실적이 있어야 합니다.
- Python, PySpark, SQL에 능숙해야 합니다.
- AWS Glue, Lambda, Redshift, S3를 폭넓게 실무에서 다뤄 본 경험이 있어야 합니다.
- Unity Catalog와 AWS SageMaker Unified Studio를 포함한 데이터 거버넌스 및 관리 도구를 이해해야 합니다.
- 데이터 마이그레이션과 레거시 시스템 현대화 경험이 있어야 합니다.
- 영어로 효과적으로 소통할 수 있어야 합니다.
- Databricks Certified Professional Data Engineer 인증 또는 이에 준하는 자격 보유자는 우대합니다.
- Docker, Kubernetes와 같은 컨테이너화 및 오케스트레이션 도구 경험자는 우대합니다.
복리후생
- 협업이 활발하고 몰입도 높은 환경에서 일할 수 있습니다.
- 전문적으로 성장할 기회를 얻을 수 있습니다.
- 국제 뱅킹 앱 프로젝트에 참여할 수 있습니다.
- 원격으로 근무할 수 있습니다.
