Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニア Python ウェブスクレイピングエンジニア（フリーランス、ポルトガルリモート）
Mindrift の Tendem AI プロジェクト向けに、信頼性の高いウェブスクレイピングとデータ処理のパイプラインを構築します。 複雑で動的なウェブサイトから構造化データセットを抽出、検証し、規模を拡大します。
仕事内容
- 複雑なウェブサイトからエンドツーエンドでデータを抽出し、完全で正確かつ信頼性の高い構造化データセットを提供する
- ツールと最適化したワークフローを活用し、データ収集、検証、タスク完了を効率化する
- 動的かつインタラクティブなソースからデータを収集し、JavaScriptでレンダリングされるコンテンツや変化するウェブサイトの挙動に対応する
- 検証チェック、複数ソース間の比較、フォーマット要件、体系的なレビューを通じてデータ品質を維持する
- 効率的なバッチ処理または並列処理により、大規模データセットのスクレイピング業務を拡大する
- 抽出失敗を追跡し、サイトに軽微な構造変更があった場合も安定性を維持する
- Tendemの専門的なプロジェクトワークフローで、ウェブスクレイピング、データ抽出、データ処理の専門知識を活用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発の関連分野で少なくとも5年の経験がある
- BeautifulSoup、Seleniumまたは同等のツール、JavaScriptとAJAXコンテンツ、無限スクロール、API、プロキシを含む、Pythonによるスクレイピングの高いスキルを有する
- 複雑な階層構造、アーカイブページ、一貫性のないHTMLから情報を抽出できる
- データクリーニング、正規化、検証の確かな基礎があり、構造化されたCSV、JSON、Google Sheetsデータセットの作成経験がある
- 大規模環境でボット対策や変化するサイト構造に対応した経験がある
- AWSまたは同等のクラウドインフラストラクチャと、Dockerベースのコンテナ化の経験がある
- LangChain、OpenRouterまたは同様のツールなどのLLMフレームワークを自動化タスクに実務で適用した経験がある
- 細部に注意を払い、データの正確性を一貫して重視する
- 自律的に働き、トラブルシューティングに責任を持ち、主体的に業務を進められる
- 英語力が中上級（B2）以上である
- エンジニアリング、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- GitHubプロフィールのリンクがあれば尚可
福利厚生
- フリーランス契約
- プロジェクトが活発な期間は週10～20時間程度のパートタイム業務
- リモート勤務形態
- Mindriftプラットフォームを通じて革新的なテクノロジープロジェクトに携わる機会