Mindrift

501 – 1,000 従業員

Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。

企業の求人

シニアPythonデータスクレイピングエンジニア - パートタイム・リモート

Mindrift の AI 技術プロジェクト向けに、信頼性の高いウェブスクレイピングと構造化データの提供を主導します。複雑で動的なウェブサイト全体のデータ抽出、検証、スケーラブルな処理を自動化します。

2 週間前

$25 / 時間

リモートパートタイムシニア必須言語：英語ソフトウェアエンジニアバックエンドエンジニア

AWS Docker JavaScript Python Selenium クラウド

仕事内容

複雑なウェブサイトからエンドツーエンドでデータを抽出する
完全で正確かつ信頼性の高い構造化データセットを提供する
ツールとカスタムワークフローを活用し、収集、検証、タスク実行を効率化する
動的なウェブソースからデータを抽出し、JavaScript コンテンツや変化するサイトの挙動に対応する
検証、一貫性チェック、フォーマット管理、体系的な確認を通じてデータ品質を維持する
効率的なバッチ処理と並列処理により、大量スクレイピングをスケールさせる
障害を監視し、ウェブサイト構造の小さな変更があっても安定性を維持する
Apify、OpenRouter、および関連技術をウェブ抽出とデータ処理に適用する

応募要件

データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで 5 年以上の関連経験
エンジニアリング、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば尚可
スクリプト作成、自動化、データ抽出ワークフローの実務経験を含む、確かな技術力
BeautifulSoup、Selenium などのツール、動的な JavaScript/AJAX コンテンツ、無限スクロール、プロキシ API に関する高度な Python スクレイピング経験
複雑な階層構造、アーカイブページ、一貫性のない HTML から情報を抽出する能力
データをクリーニング、正規化、検証し、CSV、JSON、Google Sheets 形式で納品した経験
大規模環境でアンチボット機構や変化するウェブサイト構造に対応した経験
AWS または同等のクラウドインフラストラクチャと Docker コンテナ化の経験
LangChain、OpenRouter、または類似の LLM フレームワークを自動化に適用した実務経験
データの正確性と品質に対する細部へのこだわり
自律的に業務を進め、効果的にトラブルシューティングする能力
中上級（B2）以上の英語力
GitHub プロフィールリンクがあれば尚可