Mindrift는 전문 기여자와 분야별 전문가를 기술 기업의 인공지능 학습 및 평가 프로젝트와 연결하는 인공지능 인재 마켓플레이스이자 SaaS 플랫폼입니다. Toloka의 일원으로서 작가, 편집자, QA 전문가, 과학자 및 기타 주제별 전문가와 협력해 학습 데이터를 생성하고, 모델의 안전성과 추론 능력을 평가하며, 미디어 품질을 검토하고, 인공지능의 성능과 신뢰성을 향상시키기 위한 실제 시나리오를 만듭니다. Mindrift는 평가와 신원 확인을 통해 기여자를 모집하고 검증한 후, 인공지능 학습 및 평가 분야에서 유연한 유급 프로젝트 기회를 제공합니다.
시니어 Python 데이터 스크래핑 엔지니어 — 프리랜서 원격
Mindrift의 Tendem AI 프로젝트를 위해 정확하고 확장 가능한 웹 스크래핑 워크플로를 구축하고 유지합니다. Python과 자동화 도구를 사용해 복잡한 웹 데이터를 추출하고 검증하며 처리합니다.
설명
- 복잡한 웹사이트 전반의 데이터 추출을 처음부터 끝까지 담당
- 포괄적인 범위, 높은 정확도, 안정적인 처리 일정을 갖춘 구조화된 데이터셋 제공
- 사용 가능한 도구와 맞춤형 워크플로를 결합해 수집, 검증, 작업 완료 속도 향상
- 동적이고 상호작용적인 웹사이트에서 데이터를 수집하고 JavaScript로 렌더링되는 콘텐츠와 변화하는 사이트 동작에 대응
- 검증 절차, 소스 간 교차 확인, 형식 표준, 체계적인 검토를 통해 데이터셋 품질 유지
- 효율적인 배치 처리 또는 병렬 실행으로 대규모 데이터셋의 스크래핑 역량 확대
- 추출 실패를 추적하고 사이트 구조가 소폭 변경되어도 안정성 유지
- Apify와 OpenRouter 등의 도구를 뛰어난 기술적 판단력과 함께 활용
지원 자격
- 데이터 엔지니어링, 웹 스크래핑, 자동화 또는 소프트웨어 개발 분야에서 5년 이상의 관련 경력 보유
- BeautifulSoup, Selenium 또는 이에 준하는 도구, JavaScript 및 AJAX 콘텐츠, 무한 스크롤, 프록시 기반 API를 활용한 강력한 Python 스크래핑 역량 보유
- 계층 구조, 보관 페이지, 일관되지 않은 HTML 등 복잡한 소스에서 데이터를 가져올 수 있음
- CSV, JSON, Google Sheets 형식으로 구조화된 결과를 제공하기 위한 데이터 정제, 정규화, 검증 방법을 이해함
- 대규모 환경에서 봇 방지 조치와 변화하는 웹사이트 구조에 대응한 실무 경험 보유
- 실제 프로젝트에서 AWS 또는 이에 준하는 클라우드 인프라와 Docker 컨테이너화를 사용한 경험 보유
- LangChain 또는 OpenRouter와 같은 LLM 프레임워크를 자동화 업무에 적용한 경험 보유
- 세부 사항에 주의를 기울이고 데이터 정확도를 중시함
- 독립적으로 업무를 수행하고 주도적으로 문제를 해결하며 긴밀한 감독 없이 이슈를 트러블슈팅할 수 있음
- 영어 중상급(B2) 이상 구사
- 공학, 응용수학, 컴퓨터과학 또는 관련 기술 분야의 학사 또는 석사 학위 보유 시 우대
- GitHub 프로필 링크 보유 시 우대
복리후생
- 원격으로 수행하는 파트타임 프리랜서 업무
- 프로젝트가 진행되는 기간 동안 주당 약 10~20시간
- 경력 수준과 기여 속도에 따라 시간당 최대 25달러 상당의 보수
