시니어 데이터 엔지니어, 데이터 레이크(브라질 원격)
Visa의 기업 데이터 레이크를 위한 Spark, Databricks, Airflow 파이프라인을 구축하고 유지 관리합니다. 데이터 품질, 오케스트레이션, 신뢰할 수 있는 셀프서비스 데이터 접근성을 개선합니다.
설명
- PySpark와 SparkSQL을 사용해 Databricks 수집, 변환 및 데이터 품질 파이프라인을 개발, 테스트, 유지 관리한다.
- 데이터 워크플로를 오케스트레이션하기 위한 MWAA Airflow DAG를 생성하고 업데이트한다.
- 변환 및 검증 작업을 위한 SQL을 작성하고 최적화한다.
- Great Expectations 또는 이에 상응하는 도구로 데이터 품질 검사를 구현하고 모니터링한다.
- 코드 동료 검토에 참여한다.
- 선임 엔지니어의 지원을 받아 파이프라인 장애와 데이터 품질 문제를 해결한다.
- 데이터 세트와 파이프라인 문서를 작성하고 업데이트한다.
- 스프린트 계획, 추정 및 회고에 참여한다.
- 팀의 CI/CD, 테스트 및 거버넌스 표준을 적용한다.
- Visa 기업 데이터 레이크의 안정성과 품질 향상에 기여한다.
지원 자격
- 브라질에 거주해야 한다.
- B2 이상(중상급)의 영어 의사소통 능력이 있어야 한다.
- 관련 경력이 3년 이상이고 학사 또는 준학사 학위를 보유하거나, 관련 경력이 5년 이상이어야 한다.
- 자동화 및 데이터 처리에 Python을 사용해야 한다.
- 배치 데이터 파이프라인과 ETL/ELT 패턴을 이해해야 한다.
- PySpark 또는 SparkSQL을 포함한 Apache Spark의 기본 원리를 이해해야 한다.
- Databricks 작업, 워크플로, 클러스터 관리 및 성능 튜닝을 다룰 수 있어야 한다.
- 조인, 윈도 함수 및 CTE를 포함한 중급에서 고급 수준의 SQL을 사용해야 한다.
- 파티셔닝, 레이아웃 및 수명 주기 관리를 포함한 Amazon S3 데이터 레이크 설계를 이해해야 한다.
- S3, IAM 및 CloudWatch를 포함한 AWS 핵심 개념을 이해해야 한다.
- 차원 모델링 또는 Kimball 모델링과 메달리온 레이어 아키텍처를 이해해야 한다.
- Git/GitHub 워크플로를 사용하고 코드 검토에 참여해야 한다.
- Delta Lake, Apache Airflow/MWAA, CDC 패턴, 데이터 품질 개념, Terraform 기초 또는 Superset과 같은 BI 통합 및 대시보드 관련 경험이 있으면 우대한다.
복리후생
- 원격 근무 방식.
- 대규모 환경에서 영향력을 발휘할 기회.
- 의미 있는 업무를 통한 전문성 개발과 역량 향상.
- 원격 근무자에게는 사전 안내된 일정에 따라 Visa 사무실에서 근무할 기회가 제공될 수 있다.
