Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
ルーマニアでのリモート勤務・シニアPythonデータスクレイピングエンジニア
MindriftのTendem AIプロジェクト向けに、信頼性の高いウェブスクレイピングおよびデータ処理ワークフローを構築するシニアPythonエンジニアです。複雑なウェブサイトから構造化データセットを抽出、検証、拡張することに重点を置きます。
仕事内容
- 複雑なウェブサイト全体にわたるデータ抽出ワークフローを管理し、構造化データセットの網羅性、正確性、安定した納品を維持する。
- 利用可能なツールと目的に合わせたワークフローを使い、プロジェクト要件に沿って収集、検証、タスク実行を効率化する。
- JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に適応し、動的でインタラクティブなウェブサイトから確実にデータを抽出する。
- 検証、情報源間の整合性確認、フォーマット管理、納品前の体系的な確認を通じて、データ品質基準を維持する。
- 効率的なバッチ処理または並列処理で大量スクレイピングを拡張し、失敗を調査するとともに、サイト構造の小さな変更があっても安定性を保つ。
- ウェブスクレイピング、データ抽出、データ処理の専門知識をTendemプロジェクトに活用する。
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、またはソフトウェア開発の関連分野で5年以上の経験。
- BeautifulSoup、Selenium、または同等のツールを用いた高度なPythonスクレイピング経験。JavaScript、AJAX、無限スクロール、プロキシベースのAPIを含む。
- 階層構造、アーカイブページ、不統一なHTMLなど、複雑な構造から情報を抽出できること。
- データのクリーニング、正規化、検証に関する豊富な経験。CSV、JSON、Google Sheetsなどの構造化出力に対応できること。
- 大規模環境でボット対策や変化するウェブサイト構造を管理した実務経験。
- 本番ワークフローでAWSまたは同等のクラウドインフラとDockerコンテナ化を使用した経験。
- LangChainやOpenRouterなどのLLMフレームワークを自動化タスクに適用した実務経験。
- 非常に高い注意力があり、データの正確性を一貫して重視できること。
- 自律的に働き、問題を切り分け、タスクを解決まで推進できること。
- B2以上の中上級英語力。
- GitHubプロフィールがあれば尚可。
福利厚生
- フリーランス契約。
- パートタイム勤務。
- ルーマニアからのリモート勤務。
- プロジェクトの稼働期間中、週約10～20時間。
- 報酬は相当額で時給40米ドルまで。
