시니어 데이터 엔지니어, ClickHouse 인프라 — Solidus Labs (영국, 하이브리드 근무)
시니어 데이터 엔지니어로서 Solidus Labs의 거래 감시 플랫폼을 뒷받침하는 ClickHouse 인프라 확장을 담당합니다. 실시간 및 배치 워크로드 전반에서 대규모 데이터 파이프라인, 클러스터 아키텍처, 안정성, 관측 가능성을 다룹니다.
설명
- 테이블 엔진, 파티셔닝, 구체화 뷰, 스토리지 정책을 포함한 ClickHouse 데이터 아키텍처를 설계하고 최적화합니다
- 실시간 수집과 T+1 배치 처리를 위한 ClickHouse 클러스터 규모, 토폴로지, 용량 계획을 관리합니다
- ClickHouse 및 관련 파이프라인 전반의 데이터 안정성과 중복 제거 방식을 주도합니다
- 복제, 병합, 쿼리 지연 시간, 리소스 사용량을 위한 모니터링, 알림, 관측 가능성을 구축하고 강화합니다
- 회사의 ClickHouse 전문가로서 엔지니어링 팀에 쿼리 최적화와 데이터 모델링 지침을 제공합니다
- ClickHouse 공급업체와 협력하여 문제를 조사하고 기능을 평가하며 개선 사항을 제공합니다
- 분석, 머신러닝, 제품 팀과 협력하여 스토리지, 스키마, 형식, 쿼리 성능을 개선합니다
- ClickHouse 스키마 버전 관리와 데이터 거버넌스 표준을 수립하고 유지합니다
지원 자격
- 컴퓨터 과학 학사 학위
- Java, Rust 또는 Python을 사용한 소프트웨어 엔지니어링 실무 경력 5년 이상
- 대용량·저지연 프로덕션 환경을 위한 데이터 엔지니어링 시스템과 파이프라인 구축 경력 8년 이상
- 매일 수십억 건의 이벤트를 처리하는 저지연 실시간 시스템 개발 경험
- 클러스터 아키텍처, 테이블 엔진, 복제, 샤딩, 쿼리 최적화를 포함한 ClickHouse 고급 실무 지식
- Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake, 캐싱 시스템에 대한 풍부한 경험
- ClickHouse 구체화 뷰, 프로젝션, TTL, MergeTree 최적화를 포함한 고급 SQL 및 쿼리 튜닝 역량
- Prometheus와 Grafana 같은 관측 가능성 플랫폼 사용 경험
- 해결책을 찾아 구현하는 호기심, 독립성, 주도성을 보여주는 역량
- 분산 팀의 엔지니어를 코칭하고 설득할 수 있는 뛰어난 서면 및 구두 커뮤니케이션 능력
