Mindrift는 전문 기여자와 분야별 전문가를 기술 기업의 인공지능 학습 및 평가 프로젝트와 연결하는 인공지능 인재 마켓플레이스이자 SaaS 플랫폼입니다. Toloka의 일원으로서 작가, 편집자, QA 전문가, 과학자 및 기타 주제별 전문가와 협력해 학습 데이터를 생성하고, 모델의 안전성과 추론 능력을 평가하며, 미디어 품질을 검토하고, 인공지능의 성능과 신뢰성을 향상시키기 위한 실제 시나리오를 만듭니다. Mindrift는 평가와 신원 확인을 통해 기여자를 모집하고 검증한 후, 인공지능 학습 및 평가 분야에서 유연한 유급 프로젝트 기회를 제공합니다.
시니어 Python 데이터 스크래핑 엔지니어—일본 원격 근무
Mindrift의 Tendem AI 프로젝트를 위한 안정적인 Python 웹 스크래핑 워크플로를 구축합니다.\n복잡하고 동적인 웹사이트에서 구조화된 데이터셋을 추출하고 검증하며 대규모로 확장합니다.
설명
- 복잡한 웹사이트 전반의 엔드투엔드 데이터 추출 주도
- 완전하고 정확하며 신뢰할 수 있는 구조화된 데이터셋 제공
- 사용 가능한 도구와 맞춤형 워크플로를 활용해 수집, 검증 및 작업 실행을 가속화
- JavaScript로 렌더링되는 콘텐츠를 포함한 동적·대화형 소스에서 데이터 추출
- 웹사이트 동작이 변경될 때 스크래핑 방법 조정
- 검증, 소스 간 대조, 형식 표준 및 체계적인 확인을 통해 데이터 품질 유지
- 효율적인 배치 처리 또는 병렬 처리로 대규모 스크래핑 확장
- 실패를 모니터링하고 사이트 구조가 소폭 변경되어도 안정성 유지
- Apify, OpenRouter 및 기타 기술을 웹 추출과 처리에 활용
지원 자격
- 데이터 엔지니어링, 웹 스크래핑, 자동화 또는 소프트웨어 개발 관련 경력 5년 이상
- 공학, 응용수학, 컴퓨터과학 또는 관련 기술 분야의 학사 또는 석사 학위 보유자 우대
- BeautifulSoup, Selenium 또는 유사 도구를 활용한 Python 스크래핑 경험이 풍부하고, JavaScript·AJAX·무한 스크롤 등 동적 콘텐츠를 다루며 프록시를 통해 API에 접근할 수 있는 역량
- 계층 구조, 보관된 페이지, 일관되지 않은 HTML 등 복잡한 구조에서 데이터를 추출할 수 있는 역량
- 데이터 정제, 정규화 및 검증에 대한 탄탄한 배경과 CSV, JSON 또는 Google Sheets 데이터셋 제공 경험
- 대규모 환경에서 안티봇 메커니즘과 동적 사이트 구조를 관리한 경험
- AWS 또는 이에 준하는 클라우드 인프라 경험
- Docker를 사용한 컨테이너화 경험
- LangChain, OpenRouter 또는 유사 자동화 도구와 같은 LLM 프레임워크를 실무에서 사용한 경험
- 세부 사항에 주의를 기울이고 데이터 정확성을 중시하는 태도
- 자기주도적으로 업무를 수행하고 독립적으로 문제를 해결하는 역량
- 중상급 영어 능력(B2) 이상
- GitHub 링크 제출 시 우대
복리후생
- 프리랜서 기회
- 활성 단계에서 주당 약 10~20시간으로 예상되는 파트타임 업무
- 원격 근무
- 혁신적인 기술 및 AI 개발 프로젝트에 기여할 기회
