Mindrift

501 – 1,000 従業員

Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。

企業の求人

シニアPythonウェブスクレイピングエンジニア——セルビア、リモート、パートタイム

MindriftのTendem AIプロジェクト向けに、信頼性の高いウェブスクレイピングおよびデータ処理ワークフローを構築するシニアPythonエンジニアです。複雑で動的なウェブサイトから構造化データセットを抽出、検証、拡張することに重点を置きます。

1 週間前

マルタ

$45 / 時間

リモートパートタイムシニア必須言語：英語ソフトウェアエンジニアバックエンドエンジニア

AWS Docker JavaScript Python Selenium クラウド

仕事内容

複雑なウェブサイト全体にわたるエンドツーエンドの抽出ワークフローを管理し、完全で正確かつ信頼性の高い構造化データセットを納品する。
利用可能なツールと適切に設計したワークフローを活用し、定められた要件に沿った収集、検証、タスク完了を迅速化する。
動的かつインタラクティブな情報源から確実にデータを抽出し、JavaScriptでレンダリングされたコンテンツや変化するサイトの挙動に対応する。
検証チェック、複数ソース間の比較、フォーマット管理、納品前の体系的な確認を通じてデータ品質を維持する。
効率的なバッチ処理または並列処理で大量スクレイピングを拡張し、失敗を監視するとともに、サイトの軽微な変更後も安定性を維持する。
ウェブスクレイピング、データ抽出、データ処理の専門知識をTendemプロジェクトに活用する。
Apify、OpenRouter、その他の関連技術を使用する。

応募要件

データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかで5年以上の関連経験。
工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば望ましい。
BeautifulSoup、Selenium、または類似ツールを用いたPythonによるウェブスクレイピングの豊富な経験。JavaScript、AJAX、無限スクロール、プロキシ経由のAPIアクセスを含む。
階層構造、アーカイブページ、一貫性のないHTMLなど、複雑な構造から情報を抽出できる。
データをクレンジング、正規化、検証し、CSV、JSON、Google Sheetsなどの構造化形式で納品した実務経験。
大規模環境でアンチボット対策や変化するウェブサイト構造に対応した実務経験。
本番環境またはプロジェクトのワークフローでAWSまたは同等のクラウドインフラとDockerを使用した経験。
LangChain、OpenRouter、または類似のLLMフレームワークを自動化タスクに適用した実務経験。
細部に高い注意を払い、データの正確性に強くこだわる。
自律的に行動し、問題を独力でトラブルシューティングできる。
B2以上の中上級レベルの英語力が必須。
GitHubプロフィールがあれば望ましい。