Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonウェブスクレイピングエンジニア（フリーランス・リモート）
MindriftのAIプロジェクト向けに、信頼性の高いPythonウェブスクレイピングワークフローを構築・拡張します。複雑で動的なウェブサイトから正確な構造化データを抽出・検証し、納品します。
仕事内容
- 技術的に正確なウェブスクレイピングおよびデータ処理業務を実施する
- 複雑なウェブサイト全体で抽出ワークフローを管理し、包括的で正確かつ信頼性の高い構造化データセットを納品する
- 利用可能なツールと最適化したワークフローを使い、定められた要件に沿って収集、検証、タスク完了を効率化する
- JavaScriptで描画されるページ、インタラクティブなソース、変化し続けるウェブサイトの挙動に合わせて抽出方法を調整する
- 検証、複数ソース間の照合、フォーマット基準、納品前の体系的な確認など、データ品質管理を実施する
- 効率的なバッチ処理または並列処理によって、大量スクレイピングを拡張する
- 抽出エラーを追跡し、サイト構造の軽微な変更に対応して運用の安定性を維持する
- Apify、OpenRouter、その他の関連技術を活用してスクレイピング業務を支援する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで、5年以上の関連経験があること
- BeautifulSoup、Seleniumまたは同等のツールを使ったPythonスクレイピングに習熟し、動的コンテンツとプロキシベースのAPIを扱えること
- 階層構造、アーカイブページ、不規則なHTMLなど、複雑な構造から情報を抽出できること
- データをクリーニング、正規化、検証し、CSV、JSON、Google Sheetsで納品できること
- 大規模環境でアンチボット対策や変化するサイト構造に対応できること
- AWSまたは同等のクラウドインフラストラクチャと、Dockerベースのコンテナ化を扱えること
- LangChain、OpenRouterまたは類似のLLMフレームワークを自動化ワークフローに適用できること
- 細部への並外れた注意力とデータの正確性を維持できること
- 自律的に問題を切り分けながら、独立して業務を進められること
- 英語で中上級（B2）以上のコミュニケーションができること
- 工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- GitHubプロフィールのリンクがあれば尚可
福利厚生
- フリーランス契約
- パートタイムのリモート勤務
- プロジェクトが稼働している期間は週約10～20時間
- Mindriftプラットフォームを通じて革新的なテクノロジープロジェクトに貢献できる機会
関連求人
シニアプログラムマネージャー、ソブリンAI（ハイブリッド勤務、イスラエル）
Dream政府機関や重要インフラの顧客に向けたDreamのソブリンAIロードマップを主導し、研究、エンジニアリング、プロダクト、ローンチ、AIを活用した運用を調整します。
開く
