Mindrift

501 – 1,000 従業員

Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。

企業の求人

シニアPythonデータスクレイピングエンジニア——インドでのリモート勤務

Mindrift の Tendem AI プロジェクト向けに、信頼性の高いスクレイピングワークフローを構築するシニアPythonエンジニアです。この職務では、複雑で動的なウェブサイトから構造化データを抽出、検証し、拡張します。

1 週間前

インド

$30 / 時間

リモートパートタイムシニア必須言語：英語ソフトウェアエンジニアバックエンドエンジニア

AWS Docker JavaScript Python Selenium クラウド

仕事内容

複雑なウェブサイト全体でデータ抽出ワークフローを管理し、構造化データセットの広範な網羅性、正確性、安定した納品を維持する。
利用可能なツールと適切に設計したワークフローを活用し、定められた要件を満たしながらデータ収集、検証、タスク実行を改善する。
JavaScriptでレンダリングされるコンテンツや変化するウェブサイトの挙動に適応し、動的でインタラクティブな情報源から確実にデータを抽出する。
納品前に検証チェック、情報源間の比較、フォーマット管理、体系的な確認を行い、データ品質を維持する。
効率的なバッチ処理と並列処理技術によって、大量スクレイピングを拡張する。
抽出失敗を追跡し、ウェブサイト構造に軽微な変更が生じた場合でもワークフローの安定性を維持する。
Tendemプロジェクトの実際のユースケースに、ウェブスクレイピング、データ抽出、データ処理の専門知識を適用する。

応募要件

データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで5年以上の関連経験。
BeautifulSoup、Selenium、または同等のツールを使用したPythonスクレイピングの確かな経験。JavaScript、AJAX、無限スクロール、プロキシ経由のAPIアクセスを含む。
階層構造、アーカイブページ、不統一なHTMLなど、複雑な構造から情報を抽出できること。
CSV、JSON、Google Sheets形式で納品するためのデータのクリーニング、正規化、検証に関する実務経験。
大規模なスクレイピングワークフローで、ボット対策や変化するサイト構造に対応した経験。
本番ワークフローでAWSまたは同等のクラウドインフラと、Dockerベースのコンテナ化を扱った実務経験。
LangChain、OpenRouter、または類似ツールなどのLLMフレームワークを自動化タスクに適用した経験。
細部に注意を払い、データの正確性を一貫して重視できること。
自律的に働き、問題を調査し、効果的にトラブルシューティングできること。
B2以上の中上級英語力。