Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
メキシコ勤務（リモート）のシニアPythonデータスクレイピングエンジニア
MindriftのAIプラットフォーム向けに、信頼性の高いウェブスクレイピングワークフローを構築・拡張します。 複雑で動的なウェブサイトから構造化データを抽出し、検証して納品します。
仕事内容
- 複雑なウェブサイト全体のエンドツーエンドの抽出ワークフローを管理し、完全で正確かつ信頼性の高い構造化データセットを納品します。
- 利用可能なツールとカスタムワークフローを活用し、定められた要件に沿った収集、検証、タスク実行を効率化します。
- JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に対応し、動的かつインタラクティブな情報源から安定してデータを抽出します。
- 検証チェック、情報源間の整合性確認、フォーマット要件、納品前の体系的な確認を通じてデータ品質を維持します。
- 効率的なバッチ処理と並列処理により、大量スクレイピングを拡張します。
- 抽出失敗を追跡し、サイト構造が軽微に変化した場合も運用の安定性を維持します。
- MindriftのAIと人間を組み合わせた運用モデルの中で、反復的なタスクを実行するTendem Agentsと協働します。
- 技術的専門知識と個別に調整した手法を組み合わせ、Apify、OpenRouterなどのツールやテクノロジーを活用します。
- ウェブスクレイピング、データ抽出、データ処理の専門知識を駆使し、正確で信頼性の高い高品質な成果を生み出します。
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかにおける関連実務経験5年以上が必要です。
- 工学、応用数学、コンピューターサイエンス、または関連する技術分野の学士号または修士号があれば望ましいです。
- BeautifulSoup、Selenium、または同等のツールを使ったPythonスクレイピングの豊富な経験があり、JavaScript、AJAX、無限スクロール、プロキシAPIにも対応できること。
- 階層構造、アーカイブページ、不統一なHTMLなど、複雑な構造から情報を抽出できること。
- 構造化された納品物をCSV、JSON、またはGoogle Sheets形式で提供するためのデータのクリーニング、正規化、検証に関する実務経験。
- 大規模環境でのボット対策や変化するウェブサイト構造への対応経験。
- AWSまたは同等のクラウドインフラストラクチャとDockerを本番ワークフローで使用した実務経験。
- LangChainやOpenRouterなどのLLMフレームワークを自動化タスクに適用した経験。
- 卓越した細部への注意力と、データの正確性を一貫して重視する姿勢。
- 自律的に働き、問題を調査し、効果的にトラブルシューティングできること。
- B2レベル以上の中上級英語力が必要です。
- GitHubプロフィールへのリンクがあれば望ましいです。
福利厚生
- フリーランス契約。
- パートタイムのリモートワーク。
- プロジェクトの稼働期間中、週10〜20時間程度を想定。