Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア——フィリピンからのリモート勤務
Mindriftは、AIプロジェクト向けに信頼性の高いスクレイピングワークフローを構築するシニアPythonエンジニアを募集しています。 複雑で動的なウェブサイトから構造化データを抽出、検証、拡張することが主な業務です。
仕事内容
- 複雑なウェブサイト全体でデータ抽出プロセスを管理する
- 網羅的で正確かつ信頼性の高い構造化データセットを作成する
- ツールと最適化したワークフローを活用し、収集、検証、タスクの納品を効率化する
- JavaScriptでレンダリングされたページを含む、動的でインタラクティブな情報源から情報を収集する
- ウェブサイトの挙動や構造の変化に応じてスクレイピング手法を調整する
- 検証、複数ソース間の照合、フォーマット規則、体系的なレビューによってデータ品質を守る
- 効率的なバッチ処理と並列処理で大規模なスクレイピングを拡張する
- 抽出エラーを追跡し、ウェブサイトの小さな変更があってもワークフローの安定性を維持する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで、関連経験を5年以上有すること
- 工学、応用数学、コンピューターサイエンス、または関連する技術分野の学士号もしくは修士号があれば望ましい
- BeautifulSoup、Seleniumまたは同等のツール、動的コンテンツ、プロキシAPIを用いたPythonスクレイピングの豊富な経験があること
- 階層構造、アーカイブページ、不統一なHTMLなど、複雑な情報源から情報を抽出できること
- データをクリーンアップ、正規化、検証し、CSV、JSON、Google Sheets形式で納品できること
- 大規模なスクレイピングプロジェクトで、ボット対策や変化するウェブサイト構造に対応できること
- AWSまたは同等のクラウドインフラストラクチャとDockerベースのコンテナ化を使用できること
- LangChain、OpenRouterなどのLLMフレームワークを自動化ワークフローに適用できること
- 非常に高い注意力を持ち、データの正確性を一貫して重視できること
- 自律的に働き、技術的な問題を診断して解決できること
- 英語で中上級（B2）以上のコミュニケーションができること
福利厚生
- フリーランスのプロジェクト契約
- パートタイムのリモート勤務形態
- プロジェクト稼働期間中は週約10〜20時間
- 報酬は経験レベルと貢献ペースに応じ、時給相当で最高30米ドル