Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア—日本国内リモート
MindriftのTendem AIプロジェクト向けに、信頼性の高いPythonウェブスクレイピングワークフローを構築します。\n複雑で動的なウェブサイトから構造化データセットを抽出、検証し、大規模化します。
仕事内容
- 複雑なウェブサイトからのエンドツーエンドのデータ抽出を主導
- 完全で正確かつ信頼性の高い構造化データセットを納品
- 利用可能なツールとカスタムワークフローを活用し、収集、検証、タスク実行を効率化
- JavaScriptでレンダリングされるコンテンツを含む、動的でインタラクティブなソースからデータを抽出
- ウェブサイトの挙動の変化に応じてスクレイピング手法を調整
- 検証、複数ソース間の照合、フォーマット標準、体系的な確認を通じてデータ品質を維持
- 効率的なバッチ処理または並列処理により、大量スクレイピングを拡張
- 失敗を監視し、サイト構造の小さな変更があっても安定性を維持
- Apify、OpenRouterなどの技術をウェブ抽出と処理に活用
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかに関連する実務経験5年以上
- 工学、応用数学、コンピューターサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- BeautifulSoup、Seleniumなどのツールを用いたPythonスクレイピングの豊富な経験。JavaScript、AJAX、無限スクロールなどの動的コンテンツに対応し、プロキシ経由でAPIにアクセスできること
- 階層構造、アーカイブページ、一貫性のないHTMLなど、複雑な構造からデータを抽出できること
- データのクリーニング、正規化、検証に関する豊富な知識があり、CSV、JSON、Google Sheetsのデータセットを納品した経験
- 大規模環境でアンチボット機構や動的なサイト構造を管理した経験
- AWSまたは同等のクラウドインフラストラクチャの経験
- Dockerを使用したコンテナ化の経験
- LangChain、OpenRouterなどのLLMフレームワークや類似の自動化ツールを実務で使用した経験
- 細部に注意を払い、データの正確性に責任を持てること
- 自律的に行動し、独力でトラブルシューティングできること
- 英語が中上級レベル（B2）以上であること
- GitHubリンクがあれば尚可
福利厚生
- フリーランスの機会
- 稼働期間中は週約10～20時間を想定したパートタイム勤務
- リモートワーク
- 革新的なテクノロジーおよびAI開発プロジェクトに貢献できる機会
