스태프 데이터 플랫폼 엔지니어, KAYAK - 베를린 하이브리드 근무
분석, 머신러닝, AI 기반 여행 검색을 지원하는 KAYAK의 공유 데이터 플랫폼 발전을 이끕니다. 확장 가능한 스트리밍, 레이크하우스, 메타데이터 및 쿼리 인프라를 구축합니다.
설명
- 준실시간 스트리밍, 레이크하우스 스토리지, 스키마 관리, 시맨틱 계층 및 분산 쿼리 인프라 전반에서 KAYAK의 공유 데이터 플랫폼을 설계하고 발전시킵니다
- 초기 문제 정의와 아키텍처 설계부터 구현, 출시 및 운영 인계까지 플랫폼 이니셔티브를 이끕니다
- 데이터 계약, 스키마 진화, 수집 방식 및 프로덕션 준비에 관한 기술 표준을 수립합니다
- 스트리밍 수집, 컴팩션, 보존, 스키마 거버넌스, 관측 가능성 및 일반적인 데이터 엔지니어링 과제를 위한 재사용 가능한 아키텍처를 만듭니다
- 파이프라인 모니터링, 컨슈머 지연 추적, 데이터 품질 검증 및 알림을 통해 플랫폼 관측 가능성을 구현합니다
- 운영, 보안, 엔지니어링, 데이터 엔지니어링 및 제품 팀과 협력해 사용자 요구에 맞게 플랫폼을 발전시킵니다
- 일관된 셀프서비스 분석과 신뢰할 수 있는 AI 데이터 접근을 지원하는 시맨틱 계층 및 메타데이터 전략을 이끕니다
- 스트리밍, 스토리지, 쿼리, 오케스트레이션 및 클라우드 인프라 전반의 기술과 아키텍처 접근 방식을 평가합니다
- 설계 및 코드 리뷰, 페어링 및 재사용 가능한 기술 가이드를 통해 엔지니어를 멘토링합니다
- 복구, 스키마 드리프트, 파티션 관리 및 성능 저하와 관련된 복잡한 아키텍처 및 운영 문제를 해결합니다
지원 자격
- 최소 7년의 전문 데이터 엔지니어링 경력. 이 중 상당 기간 동안 조직 전반의 기술 범위를 담당하는 시니어 또는 스태프 수준의 업무 경험
- Apache Iceberg, Parquet 및 클라우드 객체 스토리지와 같은 기술을 사용해 대규모 레이크하우스 아키텍처를 설계하고 운영한 경험
- 이벤트 기반 수집, 정확히 한 번 처리 의미론, 컨슈머 지연 관리, 체크포인트, 복구 및 장애 처리를 포함한 스트리밍 파이프라인을 프로덕션 환경에서 구축하고 운영한 경험
- 데이터 계약, 스키마 거버넌스, 메타데이터 시스템 또는 시맨틱 계층에 대한 실무 경험
- 강력한 Python 프로그래밍 역량과 유지보수 및 테스트가 가능한 프로덕션 코드를 제공한 경험
- 컨테이너화된 인프라, 리소스 튜닝 및 상태 점검을 포함해 Kubernetes에서 데이터 워크로드를 배포하고 운영한 경험
- 여러 팀에 영향력을 행사하고 아키텍처상의 절충점을 설명하며 도입을 이끌 수 있는 능력
- 리뷰, 문서화 및 재사용 가능한 패턴을 통해 엔지니어를 멘토링하고 기술 표준을 개선한 경험
- 범위가 넓고 모호한 기술 문제 영역을 주도적으로 맡을 의지
- Trino와 같은 분산 쿼리 엔진 경험
- Apache Airflow와 같은 워크플로 오케스트레이션 도구 경험
- AWS 또는 이에 상응하는 퍼블릭 클라우드 플랫폼 사용 경험
- GitHub Actions와 같은 CI/CD 및 배포 자동화 도구 경험
- Java 또는 다른 JVM 기반 언어에 대한 실무 지식
복리후생
- 매년 최대 20일까지 거의 어디서나 근무 가능
- SpringHealth를 통한 회사 부담 상담 세션
- 회사 부담 Headspace 구독
- 매년 전사 일주일 휴무
- 회의 없는 금요일
- 유급 육아휴직
- 유급 봉사활동 시간
- 자기계발비
- 리더십 개발 기회
- 수천 개의 주문형 온라인 학습 과정 이용
- 여행 할인
- 직원 리소스 그룹
- 6주의 유급 휴가와 생일 당일 휴가 1일
- 주 2일 무료 점심
- 연금 제도 기여금
- 대중교통 보조금
- 자전거 리스 프로그램
- 월례 사교 행사, 목요일 해피아워 및 스포츠 팀
- 베를린 프리드리히스하인에 위치한 사무실
