시니어 데이터 엔지니어 - 런던 하이브리드
73 Strings의 사모자본 가치평가 플랫폼을 위한 Azure 데이터 파이프라인과 데이터 웨어하우스의 설계 및 운영을 주도합니다. 데이터 수집, 변환, 품질, CI/CD 및 고객 데이터 제공을 담당합니다.
설명
- 수집, 처리, 제공 전반의 플랫폼 아키텍처를 설계한다
- 데이터베이스, API, 이벤트 스트림 및 반정형 데이터에서 배치 및 스트리밍 파이프라인을 구축하고 운영한다
- 순서 지정, 삭제, 재생 및 느리게 변화하는 차원을 지원하는 변경 데이터 캡처와 증분 로딩을 구현한다
- 메달리온 계층 데이터셋과 차원 데이터 모델을 생성한다
- Snowflake, Microsoft SQL Server 및 Databricks로 데이터를 제공한다
- 데이터 게시 전에 데이터 계약, 대사 및 행 수준 격리를 적용한다
- 테스트, 코드 리뷰, 환경 승격 및 인프라 코드화 배포를 포함한 GitHub 워크플로와 CI/CD를 관리한다
- 프로덕션 데이터 장애를 진단하고 해결한다
- 제품, 가치평가 및 고객 팀의 요구사항을 신뢰할 수 있는 운영 파이프라인으로 전환한다
지원 자격
- 프로덕션 데이터 시스템 엔지니어링 경력 10년 이상
- Snowflake 또는 Databricks를 주요 플랫폼으로 활용한 실무 전문성(데이터 모델링, 성능 튜닝 및 비용 관리 포함)
- 파이프라인 개발 및 테스트를 위한 뛰어난 Python 및 SQL 역량
- 순서 지정, 재생 및 스키마 진화를 포함한 변경 데이터 캡처와 이벤트 처리 경험
- Databricks, ADLS 및 프라이빗 네트워크 연결을 포함한 Azure 실무 경험
- GitHub와 CI/CD를 사용해 데이터 워크로드를 관리한 경험(GitHub Actions 또는 동등한 시스템 사용)
- 데이터 품질, 대사, 모니터링 및 프로덕션 인시던트 대응 경험
- 테넌트 격리, 액세스 제어 및 데이터 보호를 갖춘 안전한 멀티테넌트 데이터 플랫폼 구축 경험
- 고객 기술 팀과 직접 협업하고 필드 엔지니어링, 제품 및 기타 이해관계자와 협력할 수 있는 능력
- 우대: Databricks Lakeflow, Auto CDC, Declarative Automation Bundles 및 DQX 경험, 또는 Snowflake의 Dynamic Tables, Streams and Tasks, Snowpark, Snowflake CLI 배포 및 Data Metric Functions와 같은 동등한 기능 경험
- 우대: Debezium, Kafka Connect 또는 Confluent Kafka 경험
- 우대: Apache Airflow 또는 동등한 워크플로 오케스트레이터 경험
- 우대: Kafka 또는 Spark Structured Streaming, Apache Iceberg 또는 Delta Sharing 및 dbt 경험
- 우대: 가치평가, 펀드, 포트폴리오 기업 또는 자본 활동을 포함한 프라이빗 마켓 데이터 경험
복리후생
- 서로 돕는 업무 환경
- 혁신과 협업에 중점을 둔 문화
- 주도적으로 책임을 맡고 initiative를 발휘할 수 있는 기회
- 지속적인 학습 기회
