Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア（フリーランス、ギリシャからのリモート勤務）
MindriftのAI技術プロジェクト向けに、信頼性の高いPythonスクレイピングワークフローを構築・拡張します。 複雑で動的なウェブサイトから構造化データセットを抽出、検証し、納品します。
仕事内容
- 複雑なウェブサイト全体にわたるエンドツーエンドのデータ抽出ワークフローを管理する
- 完全で正確かつ信頼性の高い構造化データセットを納品する
- ツールとカスタムワークフローを活用し、データ収集、検証、タスク実行を効率化する
- JavaScriptでレンダリングされるページを含む、動的でインタラクティブなソースからデータを収集する
- ウェブサイトの挙動の変化に応じてスクレイピング手法を調整する
- 検証、複数ソース間の照合、フォーマット基準、体系的な確認によってデータ品質を維持する
- 効率的なバッチ処理または並列処理により、大規模データセットのスクレイピングを拡張する
- 抽出失敗を監視し、サイト構造の小さな変化があっても安定性を維持する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで5年以上の関連経験
- BeautifulSoup、Seleniumまたは同等のツール、動的コンテンツ、プロキシベースAPIを用いた高度なPythonウェブスクレイピング経験
- 階層構造、アーカイブページ、一貫性のないHTMLなど、複雑な構造から情報を抽出できること
- データをクリーニング、正規化、検証し、CSV、JSON、Google Sheetsで構造化して納品した経験
- 大規模環境でアンチボットシステムや変化するウェブサイト構造に対応した経験
- AWSまたは同等のクラウドインフラストラクチャとDockerコンテナ化の経験
- LangChainやOpenRouterなどのLLMフレームワークを自動化タスクに適用した実務経験
- データの正確性に細心の注意を払えること
- 自律的かつ主体的にトラブルシューティングできること
- 中上級英語力（B2）以上
- 工学、応用数学、コンピュータサイエンスまたは関連する技術分野の学士号または修士号があれば尚可
- GitHubプロフィールがあれば尚可
福利厚生
- リモート勤務
- プロジェクトが活発な期間中、週10～20時間程度のパートタイム勤務
- フリーランス契約
- Mindriftプラットフォームを通じて革新的な技術プロジェクトに携われる