Mindrift는 전문 기여자와 분야별 전문가를 기술 기업의 인공지능 학습 및 평가 프로젝트와 연결하는 인공지능 인재 마켓플레이스이자 SaaS 플랫폼입니다. Toloka의 일원으로서 작가, 편집자, QA 전문가, 과학자 및 기타 주제별 전문가와 협력해 학습 데이터를 생성하고, 모델의 안전성과 추론 능력을 평가하며, 미디어 품질을 검토하고, 인공지능의 성능과 신뢰성을 향상시키기 위한 실제 시나리오를 만듭니다. Mindrift는 평가와 신원 확인을 통해 기여자를 모집하고 검증한 후, 인공지능 학습 및 평가 분야에서 유연한 유급 프로젝트 기회를 제공합니다.
시니어 Python 웹 스크래핑 엔지니어 — 사우디아라비아 원격
Mindrift의 Tendem AI 프로젝트를 위해 안정적인 웹 스크래핑 및 데이터 처리 워크플로를 개발하는 시니어 Python 엔지니어입니다. 복잡한 웹사이트에서 구조화된 데이터 세트를 추출하고 검증하며 확장하는 데 중점을 둡니다.
설명
- 복잡한 웹사이트 전반의 전체 데이터 추출 워크플로를 주도합니다
- 구조화된 데이터 세트의 포괄적인 범위, 정확한 결과 및 안정적인 제공을 유지합니다
- 사용 가능한 도구와 맞춤형 워크플로를 활용해 데이터 수집, 검증 및 작업 실행을 신속하게 진행합니다
- 동적이고 상호작용적인 웹 소스에서 일관되게 데이터를 가져옵니다
- JavaScript로 렌더링된 콘텐츠와 변화하는 웹사이트 동작에 맞춰 추출 방법을 조정합니다
- 검증 검사, 소스 간 비교, 형식 규칙 및 체계적인 확인을 통해 데이터 품질을 보호합니다
- 효율적인 배치 처리 또는 병렬 처리를 통해 대규모 스크래핑을 확장합니다
- 실패를 추적하고 사이트 구조의 사소한 변경에도 워크플로 안정성을 유지합니다
- 웹 추출 및 데이터 처리 워크플로에서 Apify, OpenRouter 및 관련 기술을 사용합니다
지원 자격
- 데이터 엔지니어링, 웹 스크래핑, 자동화 또는 소프트웨어 개발 관련 경력 5년 이상
- 공학, 응용수학, 컴퓨터과학 또는 관련 기술 분야의 학사 또는 석사 학위 소지자를 우대합니다
- BeautifulSoup, Selenium 또는 동급 도구, 동적 콘텐츠 및 프록시 기반 API를 포함한 고급 Python 웹 스크래핑 경험
- 계층 구조, 보관된 페이지 및 일관되지 않은 HTML과 같은 복잡한 구조에서 정보를 추출할 수 있는 능력
- 데이터를 정리, 정규화 및 검증하고 CSV, JSON 또는 Google Sheets로 제공한 경험
- 대규모 환경에서 안티봇 시스템과 변화하는 사이트 구조에 대응한 실무 경험
- AWS 또는 동급 클라우드 인프라 경험
- Docker를 사용해 애플리케이션을 패키징한 경험
- 자동화 작업에 LangChain, OpenRouter 또는 유사한 LLM 프레임워크를 직접 사용한 경험
- 세부 사항에 주의를 기울이고 데이터 정확성을 일관되게 중시하는 태도
- 독립적으로 업무를 수행하고 작업을 주도적으로 관리하며 문제를 해결할 수 있는 능력
- 중상급 영어 능력(B2) 이상
- GitHub 프로필 보유자를 우대합니다
복리후생
- 파트타임 프리랜서 계약
- 프로젝트가 활발한 기간에는 주당 약 10~20시간
- 기여 수준과 작업 속도에 따라 시간당 최대 37달러 상당
- 유연한 프로젝트 기반 업무량으로, 보수는 범위, 복잡성 및 필요한 전문성에 따라 달라집니다
- 기술 및 AI 개발 프로젝트에 참여할 기회