Mindrift는 전문 기여자와 분야별 전문가를 기술 기업의 인공지능 학습 및 평가 프로젝트와 연결하는 인공지능 인재 마켓플레이스이자 SaaS 플랫폼입니다. Toloka의 일원으로서 작가, 편집자, QA 전문가, 과학자 및 기타 주제별 전문가와 협력해 학습 데이터를 생성하고, 모델의 안전성과 추론 능력을 평가하며, 미디어 품질을 검토하고, 인공지능의 성능과 신뢰성을 향상시키기 위한 실제 시나리오를 만듭니다. Mindrift는 평가와 신원 확인을 통해 기여자를 모집하고 검증한 후, 인공지능 학습 및 평가 분야에서 유연한 유급 프로젝트 기회를 제공합니다.
루마니아 원격 근무 시니어 Python 데이터 스크래핑 엔지니어
Mindrift의 Tendem AI 프로젝트를 위해 신뢰할 수 있는 웹 스크래핑 및 데이터 처리 워크플로를 구축하는 시니어 Python 엔지니어입니다. 복잡한 웹사이트에서 구조화된 데이터 세트를 추출하고 검증하며 확장하는 업무에 중점을 둡니다.
설명
- 복잡한 웹사이트 전반의 데이터 추출 워크플로를 관리하고, 구조화된 데이터 세트의 폭넓은 범위, 정확성 및 안정적인 전달을 유지한다.
- 사용 가능한 도구와 맞춤형 워크플로를 활용해 프로젝트 요구사항에 맞춰 수집, 검증 및 작업 실행을 가속한다.
- JavaScript로 렌더링되는 콘텐츠와 변화하는 사이트 동작에 적응해 동적이고 상호작용적인 웹사이트에서 데이터를 안정적으로 추출한다.
- 검증, 출처 간 일관성 확인, 형식 관리 및 체계적인 전달 전 검사를 통해 데이터 품질 기준을 유지한다.
- 효율적인 일괄 처리 또는 병렬 처리로 대규모 스크래핑을 확장하고, 실패를 조사하며, 사이트 구조가 소폭 변경되어도 안정성을 유지한다.
- 웹 스크래핑, 데이터 추출 및 데이터 처리 전문성을 Tendem 프로젝트에 적용한다.
지원 자격
- 데이터 엔지니어링, 웹 스크래핑, 자동화 또는 소프트웨어 개발 관련 경력 5년 이상.
- BeautifulSoup, Selenium 또는 이에 준하는 도구를 활용한 고급 Python 스크래핑 경험. JavaScript, AJAX, 무한 스크롤 및 프록시 기반 API를 포함한다.
- 계층 구조, 보관 페이지 및 일관되지 않은 HTML과 같은 복잡한 구조에서 정보를 추출할 수 있는 능력.
- CSV, JSON 및 Google Sheets를 포함한 구조화된 출력을 위해 데이터를 정제, 정규화 및 검증한 풍부한 경험.
- 대규모 환경에서 안티봇 보호 기능과 변화하는 웹사이트 구조를 관리한 실무 경험.
- 프로덕션 워크플로에서 AWS 또는 이에 준하는 클라우드 인프라와 Docker 컨테이너화를 사용한 경험.
- LangChain 또는 OpenRouter와 같은 LLM 프레임워크를 자동화 작업에 적용한 실무 경험.
- 뛰어난 세부 사항 집중력과 일관된 데이터 정확성 중시.
- 독립적으로 업무를 수행하고 문제를 해결하며 작업을 완료까지 추진할 수 있는 능력.
- B2 이상 수준의 중상급 영어 능력.
- GitHub 프로필 보유자 우대.
복리후생
- 프리랜서 계약.
- 파트타임 일정.
- 루마니아에서 원격 근무.
- 프로젝트가 활성화된 기간 동안 주당 약 10~20시간.
- 시간당 최대 미화 40달러 상당의 보상.
