시니어 데이터 엔지니어——브라질 원격 근무
Monte Bravo의 데이터 파이프라인과 레이크하우스 아키텍처 구축을 지원하는 시니어 원격 데이터 엔지니어 포지션입니다. Python, PySpark, AWS, dbt를 활용해 혁신적인 금융 플랫폼을 개발합니다.
설명
- Python 애플리케이션과 프로덕션 환경에 바로 사용할 수 있는 데이터 파이프라인 개발
- PySpark를 사용해 분산 환경에서 대용량 데이터셋 처리
- dbt를 사용해 데이터 변환 구축, 관리 및 거버넌스 수행
- Airflow를 사용해 데이터 워크플로 오케스트레이션
- GitHub를 사용해 버전 관리, 풀 리퀘스트, 코드 리뷰 및 CI/CD 통합 수행
- Lambda, CloudWatch, S3, Redshift, Aurora 등의 AWS 서비스 활용
- Apache Iceberg 구현 및 활용
- Data Lakehouse 및 Medallion Architecture 패턴 적용
- ETL 및 ELT 프로세스 수행
- 기술적 레거시 없이 혁신적인 금융 플랫폼을 처음부터 구축하는 데 기여
지원 자격
- Python으로 고성능의 유지 관리 가능한 애플리케이션과 데이터 파이프라인을 구축한 실무 경험
- PySpark를 사용해 대규모 분산 데이터셋을 처리한 경험
- 고급 SQL 역량
- dbt를 사용해 데이터 변환을 구축하고 거버넌스를 수행한 경험
- 파이프라인 오케스트레이션을 위한 Airflow 실무 지식
- 버전 관리, 풀 리퀘스트, 코드 리뷰 및 CI/CD 통합을 포함한 GitHub 활용 역량
- AWS 서비스, 특히 Lambda, CloudWatch, S3, Redshift, Aurora에 대한 지식
- Apache Iceberg 사용 경험
- Data Lakehouse 및 Medallion Architecture에 대한 이해
- ETL 및 ELT 워크플로 경험
- Databricks 경험 보유자 우대
- Kafka 지식 보유자 우대, 특히 프로듀서 개발 및 이벤트 기반 메시징 경험
복리후생
- 처음부터 끝까지 전문성을 개발할 수 있는 기회
- 서로 지원하며 건강하게 일할 수 있는 환경
- 현실 세계에 의미 있는 영향을 주는 실무 프로젝트
- 혁신, 기술적 주인의식 및 자율성을 장려하는 문화
- 기술적 레거시 없이 플랫폼을 처음부터 구축할 수 있는 기회
- 선도적인 도구, 검증된 모범 사례 및 혁신적인 접근 방식 활용
