Mindrift

501 – 1,000 직원

Mindrift는 전문 기여자와 분야별 전문가를 기술 기업의 인공지능 학습 및 평가 프로젝트와 연결하는 인공지능 인재 마켓플레이스이자 SaaS 플랫폼입니다. Toloka의 일원으로서 작가, 편집자, QA 전문가, 과학자 및 기타 주제별 전문가와 협력해 학습 데이터를 생성하고, 모델의 안전성과 추론 능력을 평가하며, 미디어 품질을 검토하고, 인공지능의 성능과 신뢰성을 향상시키기 위한 실제 시나리오를 만듭니다. Mindrift는 평가와 신원 확인을 통해 기여자를 모집하고 검증한 후, 인공지능 학습 및 평가 분야에서 유연한 유급 프로젝트 기회를 제공합니다.

기업 채용공고

시니어 Python 데이터 스크래핑 엔지니어 프리랜서 원격

Mindrift의 AI 프로젝트를 위한 확장 가능한 Python 스크래핑 워크플로를 구축하고 운영합니다. 복잡한 동적 웹사이트에서 구조화된 데이터를 추출하고 검증 및 처리합니다.

1주 전

$45 / 시간

원격 파트타임 시니어 필수 언어: 영어 백엔드 엔지니어 소프트웨어 엔지니어

AWS Docker JavaScript Python Selenium 클라우드

설명

Tendem 프로젝트와 실제 애플리케이션을 위한 전문 스크래핑 워크플로를 주도합니다
복잡한 웹사이트 전반의 엔드투엔드 추출을 관리합니다
완전하고 정확하며 신뢰할 수 있는 구조화 데이터셋을 제공합니다
사용 가능한 도구와 맞춤형 워크플로를 적용해 수집, 검증 및 작업 실행을 가속합니다
동적이고 상호작용적인 소스를 스크래핑하며 JavaScript로 렌더링되는 콘텐츠와 변화하는 사이트 동작에 대응합니다
검증, 소스 간 대조, 형식 표준 및 체계적인 검토를 통해 데이터 품질을 유지합니다
효율적인 배치 처리 또는 병렬 처리를 활용해 대규모 스크래핑으로 확장합니다
오류를 모니터링하고 사이트 구조의 경미한 변경에 대응해 안정성을 유지합니다
기술 전문성과 맞춤형 솔루션을 바탕으로 Apify, OpenRouter 및 관련 기술을 사용합니다

지원 자격

데이터 엔지니어링, 웹 스크래핑, 자동화 또는 소프트웨어 개발 관련 경력이 5년 이상이어야 합니다
공학, 응용수학, 컴퓨터과학 또는 관련 기술 분야의 학사 또는 석사 학위가 있으면 우대합니다
스크립팅, 자동화 및 데이터 추출 워크플로에 대한 탄탄한 실무 기반이 필요합니다
BeautifulSoup, Selenium 또는 이에 준하는 도구, JavaScript 및 AJAX 콘텐츠, 무한 스크롤, 프록시 API를 활용한 풍부한 Python 스크래핑 경험이 필요합니다
계층 구조, 보관 페이지 및 일관되지 않은 HTML과 같은 복잡한 구조에서 정보를 추출할 수 있어야 합니다
구조화된 CSV, JSON 또는 Google Sheets로 제공하기 위해 데이터를 정제, 정규화 및 검증한 경험이 필요합니다
대규모 환경에서 안티봇 조치와 변화하는 웹사이트 구조를 관리한 입증된 경험이 필요합니다
AWS 또는 이에 준하는 클라우드 인프라와 Docker 기반 컨테이너화를 실무에서 경험해야 합니다
LangChain, OpenRouter 또는 유사한 LLM 프레임워크를 자동화 작업에 적용한 경험이 필요합니다
세부 사항에 높은 주의를 기울이고 데이터 정확성을 중시해야 합니다
독립적으로 업무를 수행하고 효과적으로 문제를 해결할 수 있어야 합니다
GitHub 프로필이 있으면 우대합니다
B2 이상 수준의 중상급 영어 능력이 필요합니다