Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア（フリーランス、アルゼンチンからのリモート勤務）
Mindrift の AI プロジェクト向けに、信頼性の高い Python スクレイピングシステムを構築します。 複雑で動的なウェブサイトから構造化データを抽出、検証し、大規模に処理します。
仕事内容
- 複雑なウェブサイトにおけるデータ抽出ワークフロー全体を主導する
- 包括的で正確かつ信頼性の高い構造化データセットを提供する
- 利用可能なツールとカスタムワークフローを組み合わせ、収集、検証、タスク実行を改善する
- 動的でインタラクティブな情報源からデータを収集し、JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に対応する
- 検証、複数ソース間の照合、フォーマット基準、体系的なレビューによってデータ品質を維持する
- 効率的なバッチ処理と並列処理によって大規模なスクレイピングに対応する
- 抽出失敗を追跡し、サイト構造が変化してもワークフローの信頼性を維持する
- Apify、OpenRouter、関連技術を活用しながら、優れた技術的判断力を発揮する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで 5 年以上の関連経験
- BeautifulSoup、Selenium または同等ツール、JavaScript と AJAX コンテンツ、無限スクロール、プロキシベースの API に関する高度な Python スクレイピング経験
- 階層型データ、アーカイブページ、不規則な HTML 構造から情報を抽出する能力
- CSV、JSON、Google Sheets で納品するためのデータのクリーニング、正規化、検証経験
- 大規模環境でアンチボット対策や変化するウェブサイト構造を克服した実務経験
- AWS または同等のクラウドインフラと、Docker ベースのコンテナ化の経験
- 自動化向けの LangChain、OpenRouter、または類似の LLM フレームワークに関する実務知識
- 細部への高い注意力とデータ精度への強い意識
- 自律的に働き、問題を調査し、綿密な監督なしに解決する能力
- 英語の中上級レベル（B2）以上
- 工学、応用数学、コンピューターサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- GitHub プロフィールまたはリンクがあれば尚可
福利厚生
- フリーランス契約
- プロジェクトが活発な期間は週約 10～20 時間のパートタイム業務
- アルゼンチンからのリモート勤務
- Mindrift プラットフォームを通じて革新的なテクノロジープロジェクトに貢献する機会