Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア（フリーランス・リモート）
MindriftのAIプロジェクト向けに、スケーラブルなPythonスクレイピングワークフローを構築・運用します。 複雑で動的なウェブサイトから構造化データを抽出し、検証・処理します。
仕事内容
- Tendemプロジェクトおよび実際のアプリケーション向けの専門的なスクレイピングワークフローを主導する
- 複雑なウェブサイト全体でエンドツーエンドの抽出を管理する
- 完全で正確かつ信頼性の高い構造化データセットを納品する
- 利用可能なツールとカスタムワークフローを活用し、収集、検証、タスク実行を迅速化する
- 動的かつインタラクティブなソースをスクレイピングし、JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に対応する
- 検証、複数ソース間の照合、書式基準、体系的なレビューによってデータ品質を維持する
- 効率的なバッチ処理または並列処理により、大量スクレイピングへ拡張する
- 障害を監視し、サイト構造の軽微な変更に対応して安定性を維持する
- 技術的専門知識と個別に調整したソリューションを組み合わせ、Apify、OpenRouterおよび関連技術を使用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかに関連する5年以上の経験が必須
- 工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- スクリプト作成、自動化、データ抽出ワークフローに関する実践的な基礎知識
- BeautifulSoup、Seleniumまたは同等のツール、JavaScriptおよびAJAXコンテンツ、無限スクロール、プロキシAPIを用いたPythonスクレイピングの豊富な経験
- 階層構造、アーカイブページ、不規則なHTMLなどの複雑な構造から情報を抽出できる能力
- 構造化されたCSV、JSON、またはGoogle Sheetsで納品するためのデータのクレンジング、正規化、検証経験
- 大規模環境でボット対策や変化するウェブサイト構造に対応した実績
- AWSまたは同等のクラウドインフラストラクチャ、およびDockerベースのコンテナ化に関する実務経験
- LangChain、OpenRouter、または類似のLLMフレームワークを自動化タスクに適用した経験
- 細部への高い注意力とデータの正確性を重視する姿勢
- 自律的に業務を進め、効果的にトラブルシューティングできる能力
- GitHubプロフィールがあれば尚可
- B2レベル以上の中上級英語力が必須
福利厚生
- フリーランス契約
- パートタイムのリモート勤務
- プロジェクトが稼働している期間は週約10～20時間
- Mindriftプラットフォームを通じて革新的なテクノロジープロジェクトに携われる機会
