Mindrift
Mindrift
Mindriftは、専門的な貢献者や各分野の専門家と、テクノロジー企業のAIトレーニングおよび評価プロジェクトをつなぐ、人工知能人材マーケットプレイス兼SaaSプラットフォームです。Tolokaの一員として、ライター、編集者、QAスペシャリスト、科学者などの専門家と協力し、トレーニングデータの生成、モデルの安全性や推論能力の評価、メディア品質の評価、AIの性能と信頼性を高めるための現実的なシナリオの作成に取り組んでいます。Mindriftは評価と本人確認を通じて貢献者を募集・審査し、AIトレーニングおよび評価分野で柔軟な有償プロジェクトの機会を提供しています。

シニアPythonデータスクレイピングエンジニア(パートタイム、ジョージアからのリモート勤務)

Mindriftでは、AI技術プロジェクト向けに信頼性の高いスクレイピングワークフローを構築するシニアPythonエンジニアを募集しています。 複雑で動的なウェブサイトから構造化データセットを抽出、検証、拡張することが主な業務です。

仕事内容

  • 複雑なウェブサイト全体にわたるエンドツーエンドのデータ抽出ワークフローを管理する
  • 完全で正確かつ信頼性の高い構造化データセットを納品する
  • 利用可能なツールとカスタムワークフローを活用し、データ収集、検証、タスク実行を効率化する
  • JavaScriptでレンダリングされたページを含む、動的でインタラクティブなウェブソースからデータを抽出する
  • ウェブサイトの挙動の変化に応じてスクレイピング手法を調整する
  • 検証チェック、ソース間の整合性管理、フォーマット要件、体系的な確認を通じてデータ品質を維持する
  • 効率的なバッチ処理または並列処理により、大規模データセットのスクレイピングを拡張する
  • 失敗を監視し、ウェブサイト構造の軽微な変更があっても安定性を維持する
  • ApifyやOpenRouterなどのツールを、関連する技術知識と組み合わせて活用する

応募要件

  • データエンジニアリング、ウェブスクレイピング、自動化、ソフトウェア開発のいずれかに関する5年以上の実務経験
  • 工学、応用数学、コンピュータサイエンス、または関連する技術分野の学士号または修士号が望ましい
  • BeautifulSoup、Seleniumまたは同等のツール、動的コンテンツ、プロキシ経由でアクセスするAPIに関する、Pythonでのウェブスクレイピング経験
  • 階層構造、アーカイブページ、一貫性のないHTMLなど、複雑な構造から情報を抽出できる実証済みの能力
  • CSV、JSON、Google Sheets形式で納品するためのデータのクリーニング、正規化、検証に関する確かな経験
  • 大規模環境でのボット対策機構や動的なウェブサイト構造の実務経験
  • AWSまたは同等のクラウドインフラストラクチャと、Dockerベースのコンテナ化の経験
  • LangChainやOpenRouterなどのLLMフレームワークを自動化タスクに適用した実務経験
  • 細部への高い注意力と、データの正確性に対する強い責任感
  • 自律的に業務を進め、綿密な監督なしで問題を解決できる能力
  • 英語の中上級レベル(B2)以上
  • GitHubプロフィールのリンクがあれば尚可

福利厚生

  • パートタイムのリモートフリーランス契約
  • プロジェクトの稼働期間中は週約10~20時間
  • テクノロジーおよびAI開発プロジェクトに携われる

関連求人

Walmart

スタッフソフトウェアエンジニア、AIプラットフォーム — ウォルマート

Walmart

Walmart Global Techで拡張性の高いAIプラットフォームと分散システムを構築し、JavaおよびSpring BootサービスをクラウドネイティブなDevOps手法で開発します。

開く
Intermedia Cloud Communications

.NETソフトウェア開発エンジニア

Intermedia Cloud Communications

Intermedia Cloud Communications向けに、クラウドメール、Microsoft 365連携、API、安全なアプリケーションを含む、拡張性の高い.NETサービスを開発します。 モダナイゼーション、信頼性向上、クラウドネイティブサービスの構築に携わります。

開く
Kpler

シニアフルスタックエンジニア、ギリシャ(ハイブリッド勤務)

Kpler

Kplerの海上貿易インテリジェンスプラットフォーム向けに、フルスタックアプリケーションとAPIを構築します。 世界のサプライチェーンデータを実用的な洞察に変えるクラウドシステムを拡張します。

開く
Walmart

ウォルマート小売・eコマースプラットフォーム プリンシパルソフトウェアエンジニア

Walmart

顧客エンゲージメントやコンテキスト広告システムを含む、ウォルマートの国際小売・eコマースプラットフォームのアーキテクチャとエンジニアリングを主導します。 チームを導き、拡張性の高いマイクロサービスを構築して信頼性の高いソフトウェアを提供します。

開く
Ford Motor Company

シニアフルスタック Java ソフトウェアエンジニア

Ford Motor Company

Fordのグローバルなカスタマーサービスエコシステム向けに、クラウドネイティブなJavaアプリケーション、API、マイクロサービスを開発します。 勤務地はチェンナイで、フルタイムのハイブリッド勤務です。

開く
Sherpa

シニアフルスタックソフトウェアエンジニア、Palantir Foundry

Sherpa

国防の意思決定支援に使われる React および Palantir Foundry アプリケーションを構築し、アーキテクチャ設計からリリースまでを担当します。毎週リリースを行い、ミッションクリティカルなユーザーのフィードバックを取り入れます。

開く
Aurora Energy Research

モデリングソフトウェアエンジニア

Aurora Energy Research

Aurora Energy Research の Python ベースの Origin Model を開発し、電力市場を予測します。 政府、投資家、公益事業者のネットゼロに向けた意思決定を支える、拡張性の高いソフトウェアを構築します。

開く
Walmart

マーケティング・顧客プラットフォーム担当スタッフソフトウェアエンジニア

Walmart

ウォルマートの世界各地のマーケティング、広告、顧客エンゲージメントを支える、拡張性の高いJavaおよびクラウドプラットフォームの設計と提供を主導します。 顧客獲得、ID管理、決済、購入後システムのアーキテクチャを形作り、チーム横断の技術的意思決定を推進します。

開く
CompQsoft

シニア Power Platform アーキテクト(Copilot Studio)

CompQsoft

Microsoft Power Platform と Copilot Studio エージェントを活用したエンタープライズ向けソリューションを設計します。 Dataverse、連携、セキュリティ、ガバナンス、デプロイ、責任ある AI のアーキテクチャを定義します。

開く
BMT

新卒ライフサイクルエンジニアリングコンサルタント

BMT
1,001 – 5,000 従業員
技能労働者ビザスポンサー

BMTのアセットライフサイクルサービスチームで、新卒エンジニアリングコンサルタントとして働きます。 エンジニアリング製品・サービスの信頼性、持続可能性、モデリング、ライフサイクル全体のコストを分析します。

開く