Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア—ルーマニア向けフリーランス・リモート
Mindriftは、AIプロジェクト向けに信頼性の高いスクレイピングおよびデータ抽出ワークフローを構築するシニアPythonエンジニアを募集しています。 このポジションでは、動的なウェブサイトを正確で検証済みの構造化データセットに変換することに取り組みます。
仕事内容
- 複雑なウェブサイト全体でデータ抽出ワークフローを管理する
- 包括的で正確かつ信頼性の高い構造化データセットを提供する
- 利用可能なツールとカスタマイズしたワークフローを活用し、データ収集、検証、タスク完了を効率化する
- JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に適応し、動的でインタラクティブなウェブサイトを確実にスクレイピングする
- 検証、複数ソース間の照合、フォーマット要件、体系的なレビューを通じてデータ品質を維持する
- 効率的なバッチ処理または並列処理により、大量スクレイピングをスケールさせる
- 抽出エラーを追跡し、サイト構造の小さな変更があってもワークフローの安定性を維持する
- ウェブ抽出およびデータ処理ワークフローでApify、OpenRouterなどの関連技術を使用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで、関連する実務経験が5年以上必要
- 工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- スクリプト作成、自動化、データ抽出ワークフローの実務経験を含む、確かな技術基盤
- BeautifulSoup、Seleniumまたは同等のツール、JavaScript/AJAXコンテンツ、無限スクロール、プロキシベースのAPIを扱う高度なPythonスクレイピング経験
- 階層構造、アーカイブページ、一貫性のないHTMLなど、複雑なソースから情報を抽出する能力
- CSV、JSON、Google Sheetsのデータセット作成経験を含む、優れたデータクリーニング、正規化、検証スキル
- 大規模環境でアンチボットシステムや変化するウェブサイト構造に対応した実績
- AWSまたは同等のクラウドインフラストラクチャおよびDockerコンテナ化の実務経験
- 自動化業務でLangChain、OpenRouter、または類似のLLMフレームワークを実際に使用した経験
- 細部とデータの正確性を重視する姿勢
- 自律的に働き、問題を調査し、綿密な監督なしに解決する能力
- 中上級英語力（B2）以上が必要
福利厚生
- フリーランス契約
- プロジェクトが活発な期間に週約10～20時間のパートタイム業務
- リモート勤務形態
- 報酬は経験レベルと貢献ペースに応じて、時給相当で最大40ドル