Leega 중급 GCP 데이터 엔지니어(원격)
Leega에 합류하여 GCP 데이터 엔지니어로서 확장 가능한 파이프라인과 현대적인 데이터 플랫폼을 구축합니다. Databricks, Spark, ETL/ELT 및 Lakehouse 아키텍처를 활용합니다.
설명
- 확장 가능한 ETL/ELT 데이터 파이프라인을 구축하고 유지 관리합니다
- GCP 환경에서 데이터 수집, 변환 및 전달을 관리합니다
- Spark와 PySpark를 사용해 Databricks 솔루션을 개발합니다
- Data Lake, Data Warehouse 및 Lakehouse 아키텍처를 설계하고 개선합니다
- API, 데이터베이스, 스트리밍 플랫폼 및 기타 데이터 소스를 연결합니다
- 데이터 품질, 거버넌스 및 플랫폼 안정성을 유지합니다
- 성능을 추적하고 클라우드 인프라 비용을 절감합니다
- BI, 분석 및 데이터 과학 팀과 협업합니다
지원 자격
- 전문 데이터 엔지니어링 경력 4년 이상
- BigQuery, Cloud Storage 또는 Dataflow와 같은 Google Cloud 서비스를 실무에서 사용한 경험
- Databricks와 Spark를 사용한 분산 데이터 처리 경험
- 뛰어난 Python 및 SQL 역량
- 관계형 및 차원형 데이터 모델링 경험
- Airflow 또는 이에 준하는 도구를 사용한 파이프라인 오케스트레이션 경험
- Git 및 버전 관리 방식에 대한 실무 지식
- Delta Lake 사용 경험
- Infrastructure as Code를 위한 Terraform 지식
- Docker 사용 경험
- Kafka 또는 Pub/Sub와 같은 스트리밍 기술에 대한 지식
- GCP 또는 Databricks 자격증
- Lakehouse 아키텍처 설계 경험
- Power BI, Looker 또는 Tableau를 포함한 BI 플랫폼에 대한 지식
- 데이터 거버넌스 및 브라질 일반 데이터 보호법(LGPD)에 대한 이해
- 중급 또는 고급 영어 능력
복리후생
- 지속적인 전문성 개발 기회
- 완전 원격 근무
- 장애인 지원자도 지원 가능
