Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニア Python データスクレイピングエンジニア — フリーランス・リモート
Mindrift の Tendem AI プロジェクト向けに、正確でスケーラブルなウェブスクレイピングワークフローを構築・保守します。 Python と自動化ツールを使って、複雑なウェブデータを抽出・検証・処理します。
仕事内容
- 複雑なウェブサイトからのデータ抽出を最初から最後まで担当する
- 網羅性、精度、安定した納期を備えた構造化データセットを納品する
- 利用可能なツールとカスタムワークフローを組み合わせ、収集、検証、タスク完了を効率化する
- 動的でインタラクティブなウェブサイトからデータを収集し、JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に対応する
- 検証ルーチン、ソース間チェック、フォーマット基準、体系的なレビューによってデータセットの品質を守る
- 効率的なバッチ処理や並列実行によって、大規模データセットへのスクレイピング能力を拡張する
- 抽出エラーを追跡し、サイト構造が軽微に変化しても安定性を維持する
- Apify や OpenRouter などのツールを、確かな技術的判断力とともに活用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで、5年以上の関連経験があること
- BeautifulSoup、Selenium または同等のツール、JavaScript と AJAX コンテンツ、無限スクロール、プロキシベースの API に関する、Python を使った高度なスクレイピングスキルがあること
- 階層構造、アーカイブページ、HTML の不整合など、複雑なソースからデータを取得できること
- CSV、JSON、Google Sheets で構造化データを納品するための、データのクリーニング、正規化、検証方法を理解していること
- 大規模環境でのボット対策や変化するウェブサイト構造への対応経験があること
- 実際のプロジェクトで AWS または同等のクラウドインフラストラクチャと Docker コンテナ化を使用した経験があること
- LangChain や OpenRouter などの LLM フレームワークを自動化業務に適用した経験があること
- 細部に注意を払い、データ精度を強く重視できること
- 自律的に働き、主体性を持って、綿密な監督なしに問題をトラブルシューティングできること
- 英語が中上級（B2）以上であること
- 工学、応用数学、コンピューターサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- GitHub プロフィールのリンクがあれば尚可
福利厚生
- リモートで行うパートタイムのフリーランス業務
- プロジェクトの稼働期間中、週約 10～20 時間
- 経験レベルと貢献ペースに応じて、時給相当で最大 25 ドル
