시니어 Google Cloud 데이터 엔지니어
건축자재 기업을 위한 중앙 집중형 Google Cloud 데이터 허브를 구축하고, 데이터 파이프라인을 만들며 메달리온 아키텍처를 적용합니다.
설명
- ERP, 품질 및 생산 시스템, 포털, 스프레드시트 등 다양한 소스에서 데이터를 수집하는 파이프라인을 만들고 유지합니다.
- Apache Airflow로 데이터 추출, 일정 관리, 장애 처리를 오케스트레이션합니다.
- 메달리온 아키텍처의 Bronze, Silver, Gold 계층을 적용하고, 원시 데이터는 Cloud Storage에 저장하며 BigQuery에서 모델링합니다.
- 고객, 제품, 제3자를 포함한 비즈니스 엔터티와 공유 마스터 데이터를 모델링합니다.
- 대시보드에서 사용하는 시맨틱 계층을 지원합니다.
- 허브의 데이터를 소스 시스템과 대조해 품질과 일관성을 유지합니다.
- AI 및 머신러닝 모델에 사용할 Gold 계층 엔터티를 준비합니다.
- 코드 버전을 관리하고 개발, 스테이징, 프로덕션 환경의 배포를 관리합니다.
- 파이프라인 실행을 모니터링하고 장애를 해결해 수동 개입이 필요 없는 운영을 지향합니다.
- 파이프라인, 데이터 모델, 기술적 의사결정을 문서화합니다.
- 최종 제공 단계에서 고객 팀의 교육을 지원합니다.
- 주간 검토에 참여하고 비즈니스 팀과 함께 결과물을 검증합니다.
- 아키텍처 및 데이터 과학 동료와 다학제 팀을 구성해 대형 건축자재 기업을 위한 중앙 집중형 Google Cloud 데이터 허브를 구축합니다.
지원 자격
- 클라우드 데이터 프로젝트에서 데이터 엔지니어로 일한 경력이 5년 이상이어야 합니다.
- Google Cloud, 특히 BigQuery와 Cloud Storage를 사용한 경력이 3년 이상이어야 합니다.
- Apache Airflow로 파이프라인을 오케스트레이션한 경력이 3년 이상이어야 합니다.
- SQL 역량이 뛰어나고 분석 데이터 모델링 전문성을 갖추며, 관련 경력이 5년 이상이어야 합니다.
- Python으로 데이터 파이프라인을 구축한 경력이 4년 이상이어야 합니다.
- 메달리온 아키텍처와 Bronze, Silver, Gold 계층에 대한 지식이 있어야 합니다.
- ERP, API, 파일, 스프레드시트 등 여러 소스의 데이터를 통합한 경험이 있어야 합니다.
- 버전 관리 및 여러 환경에 코드를 배포한 경험이 있어야 합니다.
- Google Cloud 자격증 보유자는 우대합니다.
- 기업 ERP 시스템에서 데이터를 추출한 경험이 있으면 우대합니다.
- 세무, 재무 또는 산업 데이터 지식이 있으면 우대합니다.
- 머신러닝 모델용 데이터를 준비한 경험이 있으면 우대합니다.
- 컨설팅 프로젝트 경험이 있으면 우대합니다.
- Google Cloud(BigQuery 및 Cloud Storage), Apache Airflow, SQL, Python 실무 경험은 필수입니다.
복리후생
- 지속적인 전문성 개발 기회.
- 원격 근무.
- 장애 포용을 중시하며 장애가 있는 지원자의 지원도 환영합니다.
관련 채용공고
채용 공고를 찾을 수 없습니다
더 많은 기회를 찾으려면 필터를 조정하거나 지워 보세요.
