Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonウェブスクレイピングエンジニア — サウジアラビア・リモート
MindriftのTendem AIプロジェクト向けに、信頼性の高いウェブスクレイピングとデータ処理のワークフローを開発するシニアPythonエンジニアです。複雑なウェブサイトから構造化データセットを抽出、検証し、スケールさせることに重点を置きます。
仕事内容
- 複雑なウェブサイトにまたがる一連のデータ抽出ワークフローをリードする
- 構造化データセットの網羅性、結果の正確性、安定した納品を維持する
- 利用可能なツールと最適化したワークフローを使い、データ収集、検証、タスク実行を迅速化する
- 動的かつインタラクティブなウェブソースから一貫してデータを取得する
- JavaScriptでレンダリングされるコンテンツや変化するウェブサイトの挙動に合わせて抽出方法を調整する
- 検証チェック、ソース間比較、フォーマット規則、体系的な確認によりデータ品質を守る
- 効率的なバッチ処理または並列処理によって大量スクレイピングを拡張する
- 失敗を追跡し、サイト構造の軽微な変更があってもワークフローの安定性を維持する
- ウェブ抽出およびデータ処理ワークフローでApify、OpenRouterなどの関連技術を使用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかにおける5年以上の関連経験
- 工学、応用数学、コンピューターサイエンス、または関連する技術分野の学士号または修士号が望ましい
- BeautifulSoup、Seleniumまたは同等のツール、動的コンテンツ、プロキシベースAPIを含む、高度なPythonウェブスクレイピング経験
- 階層構造、アーカイブページ、一貫性のないHTMLなど、複雑な構造から情報を抽出できる能力
- データをクリーンアップ、正規化、検証し、CSV、JSON、Google Sheetsで納品した経験
- 大規模環境でアンチボットシステムや変化するサイト構造に対応した実務経験
- AWSまたは同等のクラウドインフラストラクチャの経験
- Dockerによるアプリケーションのパッケージ化経験
- 自動化タスクでLangChain、OpenRouter、または類似のLLMフレームワークを実際に使用した経験
- 細部に注意を払い、データの正確性を一貫して重視できること
- 自律的に働き、タスクを自ら管理し、問題をトラブルシューティングできること
- 中上級英語（B2）以上
- GitHubプロフィールがあれば尚可
福利厚生
- パートタイムのフリーランス契約
- プロジェクトが活発な期間は週約10〜20時間
- 貢献度と作業ペースに応じ、時給相当で最大37ドル
- 柔軟なプロジェクトベースの業務量。報酬は範囲、複雑さ、必要な専門性に応じて変動
- テクノロジーおよびAI開発プロジェクトに携わる機会
関連求人
シニアエンジニアリングマネージャー、APIプラットフォーム（米国リモート）
GameChangerエンジニアリングチームを率い、GameChangerのユーススポーツ製品とパートナー向けAPIプラットフォームを提供します。 技術方針を定め、信頼性を高め、チーム横断で実行を推進します。
開く
F
フルスタック開発エンジニア（Java・Angular）—フランスでのハイブリッド勤務
Datawords Group
コンテンツ責任者、コピーライター、翻訳者向けの Wezen の SaaS コンテンツ管理プラットフォームを構築・強化します。 Java、Angular、AWS、MySQL、Redis を活用し、信頼性と拡張性に優れたソリューションを提供します。
開く
