Rubikal 初級ソフトウェアエンジニア――エジプトでのハイブリッド勤務
Rubikal
初級ソフトウェアエンジニアとして、Rubikal の顧客向けにフルスタックアプリケーションを構築・改善します。設計、テスト、コードレビュー、スケーラブルなソフトウェア開発に携わります。
開く
Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。
シニアPythonウェブスクレイピングエンジニア – フリーランス・リモート
MindriftのAIプロジェクト向けに、信頼性の高いPythonベースのウェブスクレイピングとデータ処理のワークフローを構築します。複雑で動的なウェブサイトから構造化データセットを抽出、検証し、拡張します。
仕事内容
- 複雑なウェブサイト全体にわたるエンドツーエンドの抽出ワークフローを管理し、完全で正確な構造化データセットを納品する
- 利用可能なツールとカスタムワークフローを活用し、データ収集、検証、定義された要件に基づくタスク実行を効率化する
- JavaScriptでレンダリングされるコンテンツ、インタラクティブな情報源、変化するウェブサイトの挙動に合わせて抽出方法を適応させる
- 検証、複数ソース間の照合、形式の管理、体系的な確認を行い、データ品質を維持する
- 効率的なバッチ処理や並列処理によって、大規模データセットのスクレイピングを拡張する
- 抽出エラーを監視し、サイト構造の小さな変更に対応して安定性を維持する
- Apify、OpenRouterなどのツールを含む、ウェブスクレイピング、データ抽出、データ処理の専門知識を活用する
応募要件
- データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかに関連する5年以上の経験
- エンジニアリング、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号があれば尚可
- スクリプト作成、自動化、データ抽出ワークフローの実務経験を備えた、確かな技術基盤
- BeautifulSoup、Seleniumなどのツールを用いたPythonスクレイピングの豊富な経験。JavaScript、AJAX、無限スクロール、プロキシベースのAPIを含む
- 複雑な階層構造、アーカイブページ、不統一なHTML構造からデータを抽出できる能力
- CSV、JSON、Googleスプレッドシートの構造化データセットをクレンジング、正規化、検証した経験
- 大規模環境でボット対策メカニズムや変化するサイト構造に対応した経験
- AWSまたは同等のクラウドインフラストラクチャとDockerコンテナ化の実務経験
- LangChain、OpenRouter、または類似のLLMフレームワークを自動化タスクに適用した実務経験
- 細部への注意力が高く、データの正確性を強く重視する
- 自律的に業務を進め、独力でトラブルシューティングできる
- 英語力が中上級（B2）以上
- GitHubリンクがあれば尚可
福利厚生
- フリーランス契約
- パートタイムのリモートワーク
- プロジェクトの稼働期間中、週約10～20時間
