Mindrift는 전문 기여자와 분야별 전문가를 기술 기업의 인공지능 학습 및 평가 프로젝트와 연결하는 인공지능 인재 마켓플레이스이자 SaaS 플랫폼입니다. Toloka의 일원으로서 작가, 편집자, QA 전문가, 과학자 및 기타 주제별 전문가와 협력해 학습 데이터를 생성하고, 모델의 안전성과 추론 능력을 평가하며, 미디어 품질을 검토하고, 인공지능의 성능과 신뢰성을 향상시키기 위한 실제 시나리오를 만듭니다. Mindrift는 평가와 신원 확인을 통해 기여자를 모집하고 검증한 후, 인공지능 학습 및 평가 분야에서 유연한 유급 프로젝트 기회를 제공합니다.
이탈리아 시니어 Python 데이터 스크래핑 엔지니어(원격)
Mindrift의 Tendem AI 프로젝트에 참여해 신뢰할 수 있는 웹 스크래핑 및 구조화 데이터 파이프라인을 구축합니다. 동적 웹사이트, 데이터 검증, 확장 가능한 추출 및 자동화에 집중하는 역할입니다.
설명
- 복잡한 웹사이트 전반의 데이터 추출 프로세스를 주도하고 포괄적이며 정확하고 신뢰할 수 있는 구조화 데이터 세트를 제공
- 사용 가능한 플랫폼과 목적에 맞춘 워크플로를 활용해 정해진 사양에 따른 수집, 검증 및 작업 완료를 신속하게 진행
- JavaScript로 렌더링되는 페이지, 상호작용형 소스 및 변화하는 웹사이트 동작에 맞춰 추출 방법을 조정
- 검증, 소스 간 교차 확인, 형식 관리 및 납품 전 체계적인 검토를 통해 데이터 품질을 유지
- 효율적인 배치 처리와 병렬 처리를 통해 대규모 데이터 세트의 스크래핑 역량을 확대
- 추출 실패를 추적하고 사이트 구조가 변경되어도 운영 안정성을 유지
- 웹 스크래핑, 추출 및 처리 전문성을 Tendem 프로젝트에 적용
- 기술적 판단력과 Apify, OpenRouter 및 기타 도구를 결합해 효과적인 맞춤형 솔루션을 개발
지원 자격
- 데이터 엔지니어링, 웹 스크래핑, 자동화 또는 소프트웨어 개발 관련 경력 5년 이상이 필수
- 공학, 응용수학, 컴퓨터과학 또는 관련 기술 분야의 학사 또는 석사 학위 보유자는 우대
- BeautifulSoup, Selenium 또는 이에 준하는 도구를 활용한 고급 Python 스크래핑 경험과 동적 콘텐츠 및 프록시 API에 대한 이해
- 계층 구조, 보관된 페이지 및 일관되지 않은 HTML과 같은 복잡한 소스에서 데이터를 가져올 수 있는 능력
- CSV, JSON 또는 Google Sheets로 제공하기 위한 데이터 정제, 정규화 및 검증 경험
- 대규모 환경에서 안티봇 보호와 변화하는 웹사이트 구조를 관리한 실무 경험
- AWS 또는 이에 준하는 클라우드 인프라와 Docker 기반 컨테이너화에 대한 이해
- 자동화를 위해 LangChain, OpenRouter 또는 유사한 LLM 프레임워크를 직접 사용한 경험
- 뛰어난 세부 사항 주의력과 데이터 정확성에 대한 강한 중시
- 독립적으로 업무를 수행하고 문제를 조사하며 긴밀한 감독 없이 해결할 수 있는 능력
- 중상급(B2) 이상의 영어 능력이 필수
- GitHub 프로필 링크 보유자는 우대
복리후생
- 프리랜서 계약
- 파트타임 원격 근무 형태
- 프로젝트가 활성화된 기간에는 주당 10~20시간의 예상 업무량
