Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア（フリーランス、サウジアラビアからのリモート勤務）
MindriftのTendem AIプロジェクト向けに、スケーラブルなスクレイピングワークフローを開発するシニアPythonエンジニアです。 Pythonと自動化ツールを使い、複雑なウェブデータの抽出、検証、構造化を担当します。
仕事内容
- MindriftのTendemプロジェクトと実社会での応用に向けた専門的なデータスクレイピングワークフローを主導する
- 複雑なウェブサイト全体にわたるエンドツーエンドの抽出パイプラインを管理する
- 完全で正確かつ信頼性が高く、適切に構造化されたデータセットを作成する
- Apify、OpenRouter、自作ワークフローを活用し、収集、検証、タスク実行を効率化する
- 動的でインタラクティブな情報源からデータを取得し、JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に対応する
- 検証チェック、異なる情報源間の比較、フォーマット管理、体系的な確認によってデータ品質を守る
- 効率的なバッチ処理と並列処理により、大量のスクレイピングをスケールさせる
- 障害を調査し、ウェブサイト構造の小さな変更があってもパイプラインの安定性を維持する
- 複雑なスクリプト作成、自動化、抽出、データ構造化、検証の課題を自律的に解決する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかにおける関連実務経験5年以上
- 英語力が中上級（B2）以上
- BeautifulSoup、Seleniumまたは同等ツール、動的なJavaScript/AJAXコンテンツ、無限スクロール、プロキシベースのAPIを扱う高度なPythonスクレイピング経験
- 複雑な階層構造、アーカイブページ、一貫性のないHTMLから情報を抽出できる
- データクレンジング、正規化、検証に関する深い知識
- 大規模環境でアンチボット対策や変化するサイト構造を扱った実務経験
- AWSまたは同等のクラウドインフラストラクチャの経験
- Dockerを使ったアプリケーションのパッケージ化経験
- 自動化のためにLangChain、OpenRouter、または同様のLLMフレームワークを実際に使用した経験
- 細部に注意を払い、データの正確性を重視できる
- 自律的に行動し、独力でトラブルシューティングできる
- 工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号もしくは修士号があれば尚可
- GitHubプロフィールのリンクがあれば尚可
福利厚生
- 柔軟なパートタイムのフリーランス契約
- プロジェクトが活発な期間は週10～20時間の稼働を想定
- 報酬は経験レベルと貢献ペースに応じて、時給換算で最大37ドル相当
- 革新的なAIおよびテクノロジー開発プロジェクトに携わる機会
- 完全リモート勤務