Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア――フリーランス・リモート
Mindriftでは、AIプロジェクト向けに信頼性の高いウェブスクレイピングとデータ処理のワークフローを構築するシニアPythonエンジニアを募集しています。この役割では、複雑なウェブサイトから構造化データを抽出・検証し、大規模に処理します。
仕事内容
- 複雑なウェブサイトにおけるエンドツーエンドのデータ抽出ワークフローを主導する
- 完全で正確かつ信頼性の高い構造化データセットを提供する
- 利用可能なツールとカスタムワークフローを活用し、データ収集、検証、タスク実行を効率化する
- 動的でインタラクティブなソースからデータを収集し、JavaScriptでレンダリングされるコンテンツや変化するウェブサイトの挙動に適応する
- 検証チェック、ソース間の整合性確認、フォーマット要件、体系的な検証を通じてデータ品質を維持する
- 効率的なバッチ処理または並列処理によって大規模なスクレイピングを拡張する
- 障害を監視し、軽微なウェブサイト構造の変更があってもスクレイパーの安定性を維持する
- Apify、OpenRouter、その他の関連技術を使用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、またはソフトウェア開発分野で 5 年以上の関連経験
- B2 以上の中上級レベルの英語力
- BeautifulSoup、Selenium、または同等のツールを用いたPythonスクレイピングの豊富な経験。JavaScript、AJAX、無限スクロールなどの動的コンテンツや、プロキシベースのAPIにも対応できること
- 階層構造、アーカイブページ、一貫性のないHTMLなど、複雑な構造から情報を抽出できること
- データのクリーニング、正規化、検証の経験があり、CSV、JSON、またはGoogle Sheetsで納品できること
- 大規模環境でアンチボット対策や変化するウェブサイト構造に対応した経験
- AWSまたは同等のクラウドインフラストラクチャとDockerコンテナ化の実務経験
- LangChain、OpenRouter、または類似のLLMフレームワークを自動化に使用した実践経験
- 細部に注意を払い、データの正確性に責任を持てること
- 自律的に業務を進め、効果的にトラブルシューティングできること
- 工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- GitHubプロフィールのリンクがあれば尚可
福利厚生
- フリーランス契約
- リモートでのパートタイム勤務
- プロジェクトの稼働期間中は週約 10～20 時間
- 経験レベルと貢献ペースに応じて、時給相当で最大 40 米ドル
