Sigma Software Group은 2002년에 설립된 다국적 기술 컨설팅 기업입니다. 이 회사의 팀은 자동차, 헬스케어, 통신, 항공, 은행, 게임, 부동산, 광고 등 다양한 분야의 고객에게 소프트웨어 개발, 그래픽 디자인, 테스트 및 기술 지원 서비스를 제공합니다. IT 전문가를 채용해 복잡한 엔지니어링 프로젝트에 참여할 기회를 제공하며, 멘토링과 지속적인 학습을 통해 전문성 개발을 지원합니다. 원격 근무는 회사 업무 방식의 일부이며, 아스트라제네카, 스카니아, SAS 등의 조직을 위한 프로젝트를 진행합니다.
시니어 데이터 엔지니어, Databricks 마이그레이션
대규모 소매 분석 플랫폼을 BigQuery에서 Databricks로 마이그레이션하고 Lakehouse 아키텍처, Spark 파이프라인, 거버넌스 기반 데이터 솔루션을 구축합니다.
설명
- 대규모 분석 플랫폼을 BigQuery에서 Databricks로 마이그레이션하는 작업을 지원합니다.
- Databricks와 Delta Lake를 사용해 확장 가능한 Lakehouse 아키텍처를 설계하고 구축합니다.
- 기존 ETL 및 ELT 워크로드를 평가하고 마이그레이션 계획을 수립합니다.
- 대량의 소매 및 분석 데이터를 처리하는 파이프라인을 개발하고 튜닝합니다.
- 증분 처리 전략과 확장 가능한 변환 프레임워크를 구축합니다.
- PySpark를 사용해 Spark 데이터 처리 솔루션을 구축하고 유지 관리합니다.
- 메달리온 아키텍처의 Bronze, Silver, Gold 계층을 설계하고 유지 관리합니다.
- Unity Catalog로 데이터 거버넌스 및 보안 관행을 적용합니다.
- 데이터 과학, 분석, 제품, 고객 엔지니어링 팀과 협업합니다.
- 아키텍처 논의와 기술 솔루션 설계에 참여합니다.
- 재사용 가능한 데이터 플랫폼 구성 요소와 엔지니어링 표준을 만듭니다.
- 코드를 검토하고 플랫폼의 신뢰성과 유지 관리성을 개선합니다.
- 복잡한 SQL 및 Spark 워크로드를 진단하고 최적화합니다.
- 프로덕션 릴리스와 플랫폼 현대화를 지원합니다.
지원 자격
- 데이터 엔지니어링 분야에서 5년 이상의 실무 경력.
- 탄탄한 Python 역량과 고급 SQL 능력.
- Databricks 상용 환경에서의 실무 경험.
- Apache Spark, 특히 PySpark에 대한 깊은 지식.
- 최신 클라우드 데이터 플랫폼을 설계하고 구축한 경험.
- ETL 또는 ELT 파이프라인 및 대규모 데이터 처리 솔루션 개발 경험.
- Delta Lake 실무 경험.
- Spark Declarative Pipelines 경험.
- 클러스터 모니터링, 지표 분석 및 성능 최적화 경험.
- 분산 데이터 처리 아키텍처에 대한 깊은 이해.
- 데이터 웨어하우징 및 차원 모델링에 대한 충분한 지식.
- Airflow 또는 유사한 오케스트레이션 도구 사용 경험.
- 복잡한 분석 SQL 워크로드 튜닝 경험.
- 데이터 엔지니어링 플랫폼에 CI/CD 관행을 구현한 경험.
- 뛰어난 문제 해결 및 성능 최적화 역량.
- 국제적인 환경에서 여러 직무 분야의 팀과 협업할 수 있는 능력.
- 중상급 이상의 영어 능력.
복리후생
- 지속적으로 학습할 기회.
- 기술 전문성을 키울 기회.
- 엔지니어링 업무를 통해 의미 있는 성과에 기여.
- 복잡한 국제 프로젝트에 참여.
