시니어 안티봇 스크래핑 엔지니어 — Adthena (영국 원격)
Adthena의 유료 검색 인텔리전스 플랫폼을 위한 탄력적인 Python 스크래핑 시스템을 구축하고 운영합니다. Google의 안티봇 방어, 동적 페이지, 신뢰할 수 있는 대규모 데이터 수집과 관련된 문제를 해결합니다.
설명
- Google 및 기타 강력한 보호 기능이 적용된 웹사이트를 위한 대규모 Python 스크래핑 시스템을 설계하고 운영합니다
- 브라우저 자동화와 하이브리드 기술을 사용해 동적 JavaScript 기반 페이지용 스크래퍼를 개발합니다
- 페이지 구조, 요청 흐름, 자동화 방지 제어의 변화에 맞춰 스크래핑 시스템을 조정합니다
- 데이터 정확성, 일관성, 관측 가능성에 중점을 둔 안정적인 추출 파이프라인을 구축합니다
- 프록시, 핑거프린팅, 요청 라우팅 방식을 적용해 안정성과 처리량을 개선합니다
- 스크래핑 상태를 모니터링하고 장애를 신속히 식별하며 프로덕션 인시던트를 문제 해결합니다
- 스크래핑 인프라의 성능, 비용 효율성, 지연 시간을 개선합니다
- 데이터 엔지니어링, 데이터 과학, 제품 팀과 협력해 신뢰할 수 있고 활용 가능한 스크래핑 데이터를 제공합니다
- 스크래핑 로직과 운영 절차에 대한 명확한 문서를 유지합니다
- 엔지니어링 총괄에게 보고합니다
지원 자격
- Python 또는 Go, Rust, JavaScript와 같은 주요 언어를 사용한 실무 경험 및 프로덕션 스크래핑 시스템 경험
- Google 또는 이에 상응하는 보호 플랫폼을 스크래핑한 풍부한 실무 경험
- HTTP, TLS, 쿠키, 헤더, 리디렉션, 브라우저 네트워킹에 대한 높은 이해도
- Playwright, Selenium, Puppeteer 또는 이에 상응하는 브라우저 자동화 프레임워크 사용 경험
- HTML 파싱, DOM 순회, 데이터 추출에 대한 고급 이해
- 속도 제한, CAPTCHA, IP 순환, 봇 탐지 시스템을 관리한 경험
- 비동기 및 동시성 스크래핑 아키텍처에 익숙함
- 클라우드 환경에서 대규모로 스크래퍼를 운영한 경험
- 뛰어난 디버깅 능력과 복잡한 장애 유형에 대한 체계적인 접근 방식
- 헤드리스 브라우저 핑거프린팅 및 안티봇 우회 방법 경험
- Docker 및 Kubernetes에 익숙함
- 분산 작업 처리 시스템과 작업 큐 사용 경험
- 데이터 품질 모니터링 및 이상 탐지 관련 배경
- 검색, 광고 또는 경쟁 인텔리전스 데이터를 다룬 경험
- 복잡한 기술적 동작을 비기술 대상에게 명확하게 설명할 수 있음
- 지원서에서 영국 취업 허가 여부를 요청함
복리후생
- 스톡옵션
- 신뢰 기반 휴가 정책
- 원격 우선 근무 환경
- 유연한 근무 방식
- Sherpa 플랜을 통한 경력 개발 및 맞춤형 교육
- 매월 해크데이 및 별도 교육일
- 최대 6개월의 전액 유급 출산휴가
- 2개월의 육아휴직
- 200달러 홈오피스 지원금
- 회사 상품을 위한 70달러 환영 크레딧
- 생일 당일 휴가
- 여름 파티 및 크리스마스 파티
- 연간 및 분기별 오프사이트
- 월간 모임
- 분기별 유급 봉사 시간
- 스타트업 스타일의 엔지니어링 문화
