백엔드 엔지니어, 데이터 수집(사기 방지) — Gogolook, 대만 하이브리드 근무
Gogolook의 브랜드 보호 플랫폼 Watchmen을 위한 확장 가능한 크롤링 인프라와 사기 신호 파이프라인을 구축합니다. 비용이 많이 드는 외부 크롤러 서비스를 탄력적인 내부 시스템으로 전환합니다.
설명
- 소셜 플랫폼과 공개 웹사이트 전반에서 프로덕션급 웹 크롤링 인프라를 구축하고 운영합니다
- 헤드리스 브라우저, IP 순환, 스케줄링, 속도 제한, 재시도, 관측 가능성 및 자동 복구 기능을 갖춘 탄력적인 수집 시스템을 개발합니다
- 크롤링한 콘텐츠를 구조화된 사기 신호로 변환하는 추출 및 정규화 파이프라인을 담당합니다
- 외부 크롤러 서비스에서 비용 효율적인 내부 솔루션으로의 전환을 주도합니다
- 인프라 비용 효율성, 성능 및 아키텍처를 개선합니다
- 백엔드, 데이터 및 제품 팀과 협업하여 크롤러 출력을 Watchmen과 더 광범위한 사기 인텔리전스 시스템에 연결합니다
- 기술 품질을 높이고 누적된 기술 부채를 줄입니다
- 법무 및 보안 팀과 협업하여 규정 준수, 개인정보 보호, 보존 및 감사 가능성을 관리합니다
- 크롤러 적용 범위를 추가 소셜 플랫폼과 사기 지표로 확장합니다
- B2B 제품과 AI/ML 탐지 이니셔티브를 위한 재사용 가능한 크롤링 인프라를 구축합니다
지원 자격
- 대규모 프로덕션 환경에서 크롤러를 구축하고 운영한 경험
- Playwright, Puppeteer 또는 이에 준하는 헤드리스 브라우저 도구를 사용해 탄력적인 수집 시스템을 설계한 경험
- 대규모 URL 스케줄링 및 구조화된 데이터 추출 파이프라인을 설계한 경험
- HTTP 및 TLS 프로토콜 내부 구조에 대한 높은 이해도
- 봇 탐지 신호를 평가하고 견고한 수집 시스템을 개발하는 능력
- Python 및 JavaScript 숙련도
- EC2, ECS, Lambda, S3 등의 서비스를 포함한 AWS 인프라 실무 경험
- 데이터 수집 또는 백엔드 시스템 분야의 소프트웨어 엔지니어링 경력 3~7년
- Claude Code 또는 Codex와 같은 AI 코딩 에이전트를 활용한 실무 경험
- 뛰어난 협업 능력과 하이브리드 근무 환경에 대한 적응력
- 기술 문서를 영어로 작성할 수 있는 실무 수준의 능력
복리후생
- 기술 커뮤니티 활동에 참여할 기회
- 컨퍼런스 및 워크숍 참석 지원금
- 전문성 개발과 지속적인 학습 지원
- 유연한 하이브리드 근무 방식
- 회사 정보에 접근할 수 있고 피드백 채널이 마련된 투명한 문화
