Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア（フリーランス、エジプトからのリモート勤務）
MindriftのAIプロジェクト向けに、信頼性の高いPythonスクレイピングシステムを構築します。 複雑で動的なウェブサイトから構造化データを抽出、検証し、規模を拡大します。
仕事内容
- 複雑なウェブサイトにおけるデータ抽出ワークフロー全体を管理する
- 包括的で正確かつ信頼性の高い構造化データセットを提供する
- ツールと最適化したワークフローを活用し、データ収集、検証、タスク完了を効率化する
- 動的でインタラクティブなJavaScriptレンダリングソースから確実にデータを抽出する
- ウェブサイトの動作や構造の変化に応じてスクレイピング手法を調整する
- 検証、複数ソースの照合、フォーマット基準、体系的なレビューによってデータ品質を守る
- 効率的なバッチ処理または並列処理によって大規模データセットのスクレイピングを拡張する
- 抽出エラーを追跡し、ウェブサイトの小さな変更があっても安定性を維持する
- ウェブスクレイピング、データ抽出、データ処理の専門知識をTendemプロジェクトに活用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかに関連する5年以上の経験
- 工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号が望ましい
- BeautifulSoup、Seleniumまたは同等のツール、JavaScript/AJAXコンテンツ、無限スクロール、API、プロキシを含む、高度なPythonスクレイピング経験
- 階層構造、アーカイブページ、一貫性のないHTMLなど、複雑な構造から情報を抽出できる能力
- CSV、JSON、Google Sheetsのデータセット作成経験を含む、優れたデータクレンジング、正規化、検証スキル
- 大規模環境でボット対策と変化するウェブサイト構造に実際に対応した経験
- AWSまたは同等のクラウドインフラストラクチャ、およびDockerベースのコンテナ化の経験
- LangChain、OpenRouterまたは同様のツールなど、LLMフレームワークを自動化に実際に使用した経験
- 非常に高い注意力を持ち、データの正確性を一貫して重視できること
- 自律的に業務を進め、問題を切り分け、最小限の監督でタスクを管理できること
- 中上級（B2）以上の英語力
- GitHubプロフィールまたはポートフォリオのリンクがあれば尚可
福利厚生
- フリーランス形式のプロジェクト契約
- プロジェクトの稼働期間中、週約10～20時間のパートタイム業務
- リモート勤務
- プロジェクトのニーズに合わせた柔軟な業務量