Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonデータスクレイピングエンジニア——フリーランス、ポーランド在宅勤務
Mindriftでは、AIプロジェクト向けに信頼性の高いウェブスクレイピングワークフローを構築するシニアPythonエンジニアを募集しています。このポジションでは、複雑で動的なウェブサイトから構造化データを抽出、検証、処理します。
仕事内容
- 複雑なウェブサイト全体にわたる抽出ワークフローを管理する
- 包括的で正確かつ信頼性の高い構造化データセットを提供する
- ツールと最適化したワークフローを活用し、収集、検証、タスク実行を効率化する
- インタラクティブで動的なウェブデータソースから確実にデータを抽出する
- JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に合わせてスクレイピング手法を調整する
- 検証、複数ソース間の照合、フォーマット基準、体系的なレビューによってデータ品質を維持する
- 効率的なバッチ処理と並列処理で大規模なスクレイピングに対応する
- 抽出の失敗を追跡し、ウェブサイト構造の小さな変更があっても安定性を維持する
- Apify、OpenRouterおよび関連技術をウェブ抽出とデータ処理に活用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかにおける5年以上の実務経験
- 工学、応用数学、コンピューターサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- スクリプト作成、自動化、データ抽出ワークフローに関する確かな実務基盤
- BeautifulSoup、Seleniumまたは同等ツール、JavaScriptおよびAJAXコンテンツ、無限スクロール、プロキシベースAPIを用いた高度なPythonスクレイピング経験
- 複雑な階層構造、アーカイブページ、不規則なHTMLから情報を抽出する能力
- データをクリーニング、正規化、検証し、CSV、JSON、Google Sheetsで納品した経験
- 大規模環境でアンチボットシステムや変化するウェブサイト構造に対応した経験
- 本番ワークフローでAWSまたは同等のクラウドインフラストラクチャとDockerを使用した実務経験
- 自動化のためにLangChain、OpenRouterまたは類似のLLMフレームワークを実際に使用した経験
- 細部への注意力が高く、データの正確性を重視する姿勢
- 自律的に働き、綿密な監督なしで問題を調査・解決できる能力
- 英語の中上級レベル（B2）以上
- GitHubプロフィールがあれば尚可
福利厚生
- フリーランスのプロジェクト契約
- プロジェクトの稼働期間中、週10～20時間程度のパートタイム業務
- ポーランドからのリモート勤務
- 報酬は経験レベルと貢献ペースに応じて、時給相当額で最大40米ドル