Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
イタリア勤務 シニアPythonデータスクレイピングエンジニア（リモート）
Mindrift の Tendem AI プロジェクトに参加し、信頼性の高いウェブスクレイピングと構造化データのパイプラインを構築します。動的ウェブサイト、データ検証、拡張可能な抽出、自動化を担当します。
仕事内容
- 複雑なウェブサイト全体を対象とした抽出プロセスを主導し、包括的で正確かつ信頼性の高い構造化データセットを提供する
- 利用可能なプラットフォームと目的に合わせたワークフローを活用し、定められた仕様に基づく収集、検証、タスク完了を効率化する
- JavaScriptでレンダリングされるページ、インタラクティブなソース、変化し続けるウェブサイトの挙動に合わせて抽出方法を調整する
- 検証、複数ソース間の照合、フォーマット管理、納品前の体系的なレビューを通じてデータ品質を維持する
- 効率的なバッチ処理と並列処理により、大規模データセットへのスクレイピング対応力を拡大する
- 抽出失敗を追跡し、サイト構造の変化に対して運用の信頼性を維持する
- ウェブスクレイピング、抽出、処理の専門知識をTendemプロジェクトに活用する
- 技術的な判断力と Apify、OpenRouter などのツールを組み合わせ、効果的なカスタムソリューションを開発する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかに関連する5年以上の経験が必須
- 工学、応用数学、コンピューターサイエンス、または関連する技術分野の学士号または修士号があれば望ましい
- BeautifulSoup、Selenium、または同等のツールを用いた高度なPythonスクレイピング経験があり、動的コンテンツとプロキシAPIに精通していること
- 階層構造、アーカイブページ、一貫性のないHTMLなど、複雑なソースからデータを取得できること
- CSV、JSON、またはGoogle Sheetsで納品するためのデータのクリーニング、正規化、検証経験
- 大規模環境でボット対策や変化するウェブサイト構造に対応した実務経験
- AWSまたは同等のクラウドインフラストラクチャと、Dockerベースのコンテナ化に関する知識
- 自動化のためにLangChain、OpenRouter、または同様のLLMフレームワークを実際に使用した経験
- 非常に高い注意力があり、データの正確性を重視できること
- 自律的に働き、問題を調査し、綿密な監督なしに解決できること
- 中上級（B2）以上の英語力が必須
- GitHubプロフィールのリンクがあれば望ましい
福利厚生
- フリーランス契約
- パートタイムのリモート勤務形態
- プロジェクトの稼働期間中、週10～20時間の想定稼働
