Mindrift는 전문 기여자와 분야별 전문가를 기술 기업의 인공지능 학습 및 평가 프로젝트와 연결하는 인공지능 인재 마켓플레이스이자 SaaS 플랫폼입니다. Toloka의 일원으로서 작가, 편집자, QA 전문가, 과학자 및 기타 주제별 전문가와 협력해 학습 데이터를 생성하고, 모델의 안전성과 추론 능력을 평가하며, 미디어 품질을 검토하고, 인공지능의 성능과 신뢰성을 향상시키기 위한 실제 시나리오를 만듭니다. Mindrift는 평가와 신원 확인을 통해 기여자를 모집하고 검증한 후, 인공지능 학습 및 평가 분야에서 유연한 유급 프로젝트 기회를 제공합니다.
시니어 Python 데이터 스크래핑 엔지니어—필리핀 원격 근무
Mindrift는 AI 프로젝트를 위한 안정적인 스크래핑 워크플로를 구축할 시니어 Python 엔지니어를 찾고 있습니다. 복잡하고 동적인 웹사이트에서 구조화된 데이터를 추출하고 검증하며 확장하는 업무입니다.
설명
- 복잡한 웹사이트 전반의 데이터 추출 프로세스를 관리합니다
- 완전하고 정확하며 신뢰할 수 있는 구조화 데이터세트를 생성합니다
- 도구와 맞춤형 워크플로를 활용해 수집, 검증, 작업 전달을 효율화합니다
- JavaScript로 렌더링된 페이지를 포함해 동적이고 상호작용이 가능한 소스에서 정보를 수집합니다
- 웹사이트의 동작과 구조가 변화함에 따라 스크래핑 방법을 조정합니다
- 검증, 소스 간 교차 확인, 형식 규칙, 체계적인 검토를 통해 데이터 품질을 보호합니다
- 효율적인 배치 처리와 병렬 처리로 대규모 스크래핑을 확장합니다
- 추출 실패를 추적하고 웹사이트의 사소한 변경에도 워크플로 안정성을 유지합니다
지원 자격
- 데이터 엔지니어링, 웹 스크래핑, 자동화 또는 소프트웨어 개발 관련 경력 5년 이상
- 공학, 응용 수학, 컴퓨터 과학 또는 관련 기술 분야의 학사 또는 석사 학위 보유자를 우대합니다
- BeautifulSoup, Selenium 또는 유사 도구, 동적 콘텐츠와 프록시 API를 활용한 Python 스크래핑 경험이 풍부해야 합니다
- 계층 구조, 보관된 페이지, 일관되지 않은 HTML 등 복잡한 소스에서 정보를 추출할 수 있어야 합니다
- 데이터를 정제, 정규화, 검증하고 CSV, JSON 또는 Google Sheets 형식으로 제공할 수 있어야 합니다
- 대규모 스크래핑 프로젝트에서 봇 방지 조치와 변화하는 웹사이트 구조에 대응할 수 있어야 합니다
- AWS 또는 이에 준하는 클라우드 인프라와 Docker 기반 컨테이너화를 사용할 수 있어야 합니다
- LangChain, OpenRouter 또는 유사한 LLM 프레임워크를 자동화 워크플로에 적용할 수 있어야 합니다
- 뛰어난 세부 사항 집중력을 갖추고 데이터 정확성을 일관되게 중시해야 합니다
- 독립적으로 업무를 수행하며 기술 문제를 진단하고 해결할 수 있어야 합니다
- 영어로 중상급(B2) 이상의 의사소통이 가능해야 합니다
복리후생
- 프리랜서 프로젝트 계약
- 파트타임 원격 근무 방식
- 프로젝트 진행 기간 동안 주당 약 10~20시간
- 경력 수준과 기여 속도에 따라 시간당 최대 미화 30달러 상당의 보수
