Mindrift는 전문 기여자와 분야별 전문가를 기술 기업의 인공지능 학습 및 평가 프로젝트와 연결하는 인공지능 인재 마켓플레이스이자 SaaS 플랫폼입니다. Toloka의 일원으로서 작가, 편집자, QA 전문가, 과학자 및 기타 주제별 전문가와 협력해 학습 데이터를 생성하고, 모델의 안전성과 추론 능력을 평가하며, 미디어 품질을 검토하고, 인공지능의 성능과 신뢰성을 향상시키기 위한 실제 시나리오를 만듭니다. Mindrift는 평가와 신원 확인을 통해 기여자를 모집하고 검증한 후, 인공지능 학습 및 평가 분야에서 유연한 유급 프로젝트 기회를 제공합니다.
시니어 Python 웹 스크래핑 엔지니어(프리랜서, 원격)
Mindrift의 AI 프로젝트를 위한 안정적인 Python 웹 스크래핑 워크플로를 구축하고 확장합니다.복잡하고 동적인 웹사이트에서 정확한 구조화 데이터를 추출하고 검증하여 제공합니다.
설명
- 기술적으로 정확한 웹 스크래핑 및 데이터 처리 업무 수행
- 복잡한 웹사이트 전반의 전체 추출 워크플로를 관리하고 포괄적이며 정확하고 신뢰할 수 있는 구조화 데이터셋 제공
- 사용 가능한 도구와 맞춤형 워크플로를 활용하여 정해진 요구사항에 맞춘 수집, 검증 및 업무 완료 속도 향상
- JavaScript로 렌더링되는 페이지, 대화형 소스 및 변화하는 웹사이트 동작에 맞춰 추출 방법 조정
- 검증, 소스 간 교차 확인, 형식 표준 및 제공 전 체계적인 검수 등 데이터 품질 관리 적용
- 효율적인 일괄 처리 또는 병렬 처리를 통해 대규모 스크래핑 확장
- 추출 실패를 추적하고 사이트 구조의 사소한 변경에 대응하여 운영 안정성 유지
- Apify, OpenRouter 및 기타 관련 기술을 활용하여 스크래핑 작업 지원
지원 자격
- 데이터 엔지니어링, 웹 스크래핑, 자동화 또는 소프트웨어 개발 관련 경력 5년 이상
- BeautifulSoup, Selenium 또는 유사 도구를 활용한 Python 스크래핑 역량이 뛰어나고 동적 콘텐츠와 프록시 기반 API를 다룰 수 있는 능력
- 계층 구조, 보관 페이지 및 불규칙한 HTML을 포함한 복잡한 구조에서 정보를 추출할 수 있는 능력
- 데이터를 정제, 정규화 및 검증하여 CSV, JSON 또는 Google Sheets 형식으로 제공할 수 있는 능력
- 대규모 환경에서 안티봇 보호 기능과 변화하는 사이트 구조에 대응할 수 있는 능력
- AWS 또는 이에 준하는 클라우드 인프라와 Docker 기반 컨테이너화를 다룰 수 있는 능력
- LangChain, OpenRouter 또는 유사한 LLM 프레임워크를 자동화 워크플로에 적용할 수 있는 능력
- 탁월한 세부 사항 주의력과 데이터 정확성 유지 능력
- 자기 주도적으로 문제를 해결하며 독립적으로 업무를 수행할 수 있는 능력
- 영어로 중상급(B2) 이상의 의사소통 능력
- 공학, 응용 수학, 컴퓨터 과학 또는 관련 기술 분야의 학사 또는 석사 학위 보유 시 우대
- GitHub 프로필 링크 보유 시 우대
복리후생
- 프리랜서 계약
- 파트타임 원격 근무
- 프로젝트가 활발한 기간에는 주당 약 10~20시간
- Mindrift 플랫폼을 통해 혁신적인 기술 프로젝트에 기여할 기회
