주니어 데이터 엔지니어
Stefanini LATAM에서 주니어 데이터 엔지니어로 합류하여 Google Cloud에서 실행되는 ETL 및 ELT 파이프라인을 개발합니다. Python, SQL, Spark, BigQuery, Airflow를 사용해 클라우드 데이터 솔루션을 구축합니다.
설명
- 배치 및 이벤트 기반 ETL·ELT 데이터 파이프라인을 설계, 개발 및 유지 관리합니다
- Google Cloud Platform에서 데이터 처리 및 저장 솔루션을 구현합니다
- Python, SQL, Spark 또는 PySpark로 데이터 처리 프로세스를 구축합니다
- BigQuery, Cloud Storage, Dataflow, Dataproc 및 Pub/Sub를 사용합니다
- Airflow 및 Cloud Composer로 오케스트레이션 워크플로를 구현하고 유지 관리합니다
- Data Lake, Data Warehouse 및/또는 Lakehouse 아키텍처의 개발과 발전에 기여합니다
- 정보 처리 및 분석을 위한 데이터 모델을 설계하고 최적화합니다
- CI/CD 및 Infrastructure as Code 방식을 통해 프로세스와 배포를 자동화하며, Terraform 사용을 선호합니다
- 데이터 품질, 무결성, 추적 가능성 및 가용성을 위한 제어 체계를 수립합니다
- 성능, 확장성 및 효율적인 리소스 사용을 위해 파이프라인, 쿼리 및 프로세스를 최적화합니다
- 클라우드 데이터 플랫폼 마이그레이션 및 현대화 이니셔티브에 기여합니다
- 아키텍처, 데이터 과학, BI, 개발 및 비즈니스 팀과 협업합니다
- 구현한 아키텍처, 파이프라인, 모델 및 솔루션을 문서화합니다
- 팀에 기술 지원을 제공하고 데이터 엔지니어링 모범 사례를 확산합니다
지원 자격
- Google Cloud Platform(GCP)에 대한 지식
- BigQuery, Cloud Storage, Dataflow 및/또는 Dataproc, Pub/Sub, Python, 고급 SQL, Apache Spark 또는 PySpark에 대한 경험 또는 지식
- ETL 및 ELT 파이프라인 개발 경험
- 데이터 모델링 및 변환에 대한 지식
- 오케스트레이션을 위한 Airflow 또는 Cloud Composer에 대한 지식
- dbt 및/또는 Dataform, Terraform, Git 및 CI/CD 프로세스에 대한 지식이 있으면 우대합니다
- Data Lake, Data Warehouse 및/또는 Lakehouse 아키텍처에 대한 지식
- Hadoop 및/또는 Kafka에 대한 지식
- 관계형 데이터베이스 및 NoSQL 데이터베이스에 대한 지식
- 머신러닝 및/또는 Vertex AI에 대한 지식
- 데이터 거버넌스 및 데이터 품질에 대한 지식
복리후생
- 구체적인 복리후생은 기재되어 있지 않습니다. Stefanini 복리후생 섹션은 있으나 추가 세부 정보는 제공되지 않습니다
