
シニアPythonデータスクレイピングエンジニア(フリーランス、スウェーデンからのリモート勤務)
Mindriftは、AIプロジェクト向けに信頼性の高いスクレイピングワークフローを構築するシニアPythonエンジニアを募集しています。 複雑で動的なウェブサイトから構造化データを抽出、検証、拡張することが主な業務です。
仕事内容
- 複雑なウェブサイトにおけるデータ抽出ワークフロー全体を主導する
- 包括的で正確かつ信頼性の高い構造化データセットを提供する
- 利用可能なツールと目的に合わせたワークフローを活用し、データ収集、検証、タスク完了を効率化する
- 動的でインタラクティブなウェブサイトからデータを収集し、JavaScriptでレンダリングされるコンテンツや変化するサイトの挙動に対応する
- 検証チェック、複数ソース間の比較、フォーマット基準、体系的な確認によってデータ品質を確保する
- 効率的なバッチ処理と並列処理により、大量のスクレイピングを拡張する
- 抽出失敗を追跡し、ウェブサイト構造の小さな変更があってもシステムの安定性を維持する
- 確かな技術的判断力と組み合わせて、Apify、OpenRouter、その他の関連技術を使用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかにおける関連経験5年以上
- BeautifulSoup、Seleniumまたは同等のツール、JavaScript、AJAX、無限スクロールなどの動的コンテンツ、プロキシベースのAPIを扱う高度なPythonスクレイピング経験
- 階層構造、アーカイブページ、不統一なHTMLなど、複雑な構造から情報を抽出できる能力
- 構造化されたCSV、JSON、Google Sheets形式で出力するためのデータのクリーニング、正規化、検証経験
- 大規模環境でボット対策や変化するウェブサイト構造を管理した実務経験
- 本番ワークフローでAWSまたは同等のクラウドインフラストラクチャとDockerコンテナを使用した経験
- LangChain、OpenRouterなどのLLMフレームワークや類似ツールを自動化に適用した実務経験
- 細部に注意を払い、データの正確性を一貫して重視する姿勢
- 自立してトラブルシューティングと問題解決に取り組めること
- 英語の中上級レベル(B2)以上
- 工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- GitHubプロフィールがあれば尚可
福利厚生
- フリーランス契約
- リモートでのパートタイム勤務
- プロジェクトの稼働期間中は週10~20時間程度







