시니어 데이터 인프라 엔지니어(웹 스크래핑)
소셜 미디어 데이터 연구소를 위한 봇 방지 우회 클러스터와 고처리량 데이터 수집 파이프라인을 구축합니다. AI 모델링을 지원하는 확장 가능한 스토리지 및 데이터 시스템을 개발합니다.
설명
- 소셜 미디어 데이터 연구소의 데이터 수집 엔진을 개발하고 유지 관리합니다.
- 주거용 프록시, TLS 핑거프린팅, 브라우저 팜, 세션 로테이션을 활용해 은밀한 스크래핑 클러스터를 구축하고 운영합니다.
- Instagram, TikTok, YouTube, X 및 기타 웹 소스를 위한 복원력 있고 확장 가능한 스크래핑 파이프라인을 만듭니다.
- 분산 큐와 워크플로 엔진을 설계해 매일 수백만 건의 비동기 스크래핑 작업을 처리합니다.
- 후속 AI 모델링을 위한 정형 및 비정형 스토리지를 설계합니다.
- 플랫폼 인터페이스 및 API 변경, 차단 패턴, 프록시 장애에 대한 자동 알림을 설정합니다.
- 거의 지속적인 가용성을 유지하면서 매일 수백만 건의 프로필, 게시물, 동영상 레코드를 제공합니다.
지원 자격
- 대규모 웹 스크래핑, 데이터 엔지니어링 또는 리버스 엔지니어링 분야에서 4년 이상의 경력.
- TLS 위장, 브라우저 자동화, 프록시 관리를 사용해 Cloudflare, Akamai, PerimeterX와 같은 고급 봇 방지 서비스를 우회한 풍부한 경험.
- Python 또는 Go 숙련도.
- Playwright, Puppeteer, Scrapy 또는 Selenium에 대한 깊은 지식.
- Temporal, Ray, Kafka, Redis와 같은 분산 시스템 및 작업 큐 경험.
- 탄탄한 SQL 역량.
- 최신 분석용 데이터 레이크 또는 데이터 웨어하우스 경험.
- 우대 사항: TikTok, Instagram, YouTube에서 숏폼 동영상 콘텐츠와 사용자 메타데이터를 추출한 경험.
- 우대 사항: 스크래핑 결과를 벡터 데이터베이스와 실시간 AI 처리 큐에 직접 전송한 경험.
복리후생
- 원격 근무 방식.
