Sigma Software Group은 2002년에 설립된 다국적 기술 컨설팅 기업입니다. 이 회사의 팀은 자동차, 헬스케어, 통신, 항공, 은행, 게임, 부동산, 광고 등 다양한 분야의 고객에게 소프트웨어 개발, 그래픽 디자인, 테스트 및 기술 지원 서비스를 제공합니다. IT 전문가를 채용해 복잡한 엔지니어링 프로젝트에 참여할 기회를 제공하며, 멘토링과 지속적인 학습을 통해 전문성 개발을 지원합니다. 원격 근무는 회사 업무 방식의 일부이며, 아스트라제네카, 스카니아, SAS 등의 조직을 위한 프로젝트를 진행합니다.
시니어 데이터 엔지니어, Databricks 마이그레이션
기업 리테일 분석 플랫폼을 BigQuery에서 Databricks Lakehouse로 마이그레이션하고, 확장 가능한 PySpark 파이프라인과 메달리온 아키텍처, 거버넌스가 적용된 클라우드 데이터 플랫폼을 구축합니다.
설명
- 대규모 분석 플랫폼을 BigQuery에서 Databricks로 마이그레이션하는 작업을 지원합니다.
- Databricks와 Delta Lake를 활용해 확장 가능한 Lakehouse 아키텍처를 설계하고 구축합니다.
- 기존 ETL 및 ELT 워크로드를 평가하고 마이그레이션 방식을 정의합니다.
- 대량의 리테일 및 분석 데이터를 처리하는 파이프라인을 구축하고 최적화합니다.
- 증분 처리 전략과 확장 가능한 변환 프레임워크를 구현합니다.
- PySpark를 사용해 Spark 데이터 처리 솔루션을 개발하고 유지 관리합니다.
- Bronze, Silver, Gold 메달리온 계층을 설계하고 유지 관리합니다.
- Unity Catalog를 사용해 데이터 거버넌스 및 보안 관행을 적용합니다.
- 데이터 과학, 분석, 제품, 고객 엔지니어링 팀과 협업합니다.
- 아키텍처 논의와 기술 솔루션 설계에 기여합니다.
- 재사용 가능한 데이터 플랫폼 구성 요소와 엔지니어링 표준을 만듭니다.
- 코드를 검토하고 플랫폼의 신뢰성과 유지 관리성을 개선합니다.
- 복잡한 SQL 및 Spark 워크로드의 문제를 해결하고 최적화합니다.
- 프로덕션 배포와 플랫폼 현대화를 지원합니다.
지원 자격
- 데이터 엔지니어로 5년 이상의 실무 경력이 있어야 합니다.
- 탄탄한 Python 프로그래밍 역량과 고급 SQL 능력을 갖춰야 합니다.
- Databricks 상용 환경에서의 실무 경험이 있어야 합니다.
- Apache Spark, 특히 PySpark에 능숙해야 합니다.
- 최신 클라우드 데이터 플랫폼의 설계 및 구축 경험이 있어야 합니다.
- ETL 및 ELT 파이프라인과 대규모 데이터 처리 솔루션 개발 경험이 있어야 합니다.
- Delta Lake 실무 경험이 있어야 합니다.
- Spark Declarative Pipelines 사용 경험이 있어야 합니다.
- 클러스터 모니터링, 지표 분석, 성능 최적화 경험이 있어야 합니다.
- 분산 데이터 처리 아키텍처를 이해해야 합니다.
- 데이터 웨어하우징 개념과 차원 모델링을 이해해야 합니다.
- Airflow 또는 이에 준하는 오케스트레이션 도구 사용 경험이 있어야 합니다.
- 복잡한 분석용 SQL 워크로드 최적화 경험이 있어야 합니다.
- 데이터 엔지니어링 플랫폼에 CI/CD 관행을 적용한 경험이 있어야 합니다.
- 문제 해결 및 성능 최적화 역량을 갖춰야 합니다.
- 다기능 국제 팀과 효과적으로 협업할 수 있어야 합니다.
- 영어 능력이 중상급 이상이어야 합니다.
복리후생
- 직원은 원격 근무를 할 수 있습니다.
- 지속적인 학습 기회가 제공됩니다.
- 기술과 함께 성장할 기회가 있습니다.
- 엔지니어링 업무를 통해 의미 있는 영향을 만들어낼 수 있습니다.
- 복잡한 국제 프로젝트에 참여할 수 있습니다.
