Mindrift
Mindrift
501 – 1,000 員工
SaaS人工智慧市集
Mindrift 是一家人工智慧人才市場與 SaaS 平台,將專業貢獻者及領域專家與科技公司的人工智慧訓練和評估專案連結起來。作為 Toloka 的一部分,Mindrift 與作家、編輯、品質保證專家、科學家及其他領域專家合作,協助產生訓練資料、評估模型的安全性與推理能力、評量媒體品質,並建立用於提升人工智慧效能與可靠性的真實情境。Mindrift 透過評估和身分驗證招募並審核貢獻者,接著為他們提供人工智慧訓練與評估領域中彈性且有酬的專案機會。

高級 Python 資料抓取工程師——自由接案,波蘭遠端

Mindrift 正在尋找一名高級 Python 工程師,為 AI 專案建立可靠的網頁抓取流程。此職位主要負責從複雜的動態網站擷取、驗證及處理結構化資料。

說明

  • 管理複雜網站上的完整資料擷取流程
  • 交付完整、準確且可靠的結構化資料集
  • 運用工具和客製化流程,加快資料收集、驗證和任務執行
  • 可靠地從互動式和動態網頁資料來源擷取資料
  • 針對 JavaScript 渲染內容和不斷變化的網站行為調整抓取方法
  • 透過驗證、跨來源核對、格式標準和系統化審查維持資料品質
  • 透過高效的批次處理和並行處理應對大規模資料抓取
  • 追蹤擷取失敗情況,並在網站結構發生細微變化時維持穩定性
  • 應用 Apify、OpenRouter 及相關技術進行網頁擷取和資料處理

職位要求

  • 具備 5 年以上資料工程、網頁抓取、自動化或軟體開發相關經驗
  • 擁有工程、應用數學、電腦科學或相關技術領域學士或碩士學位者優先
  • 具備紮實的腳本撰寫、自動化和資料擷取流程實務基礎
  • 具備進階 Python 抓取經驗,熟悉 BeautifulSoup、Selenium 或同類工具、JavaScript 和 AJAX 內容、無限捲動以及基於代理的 API
  • 能夠從複雜階層結構、封存頁面和不一致的 HTML 中擷取資訊
  • 具備清理、正規化和驗證資料的經驗,能以 CSV、JSON 和 Google Sheets 格式交付
  • 具備大規模處理反機器人系統和不斷變化網站結構的經驗
  • 具備在正式環境流程中使用 AWS 或同等雲端基礎設施及 Docker 的實務經驗
  • 實際使用過 LangChain、OpenRouter 或類似 LLM 框架進行自動化
  • 高度重視細節,並強烈注重資料準確性
  • 具備獨立工作風格,能在無需密切監督的情況下調查並解決問題
  • 英語中高級程度(B2)或以上
  • 擁有 GitHub 個人檔案者優先

福利待遇

  • 自由接案專案合作
  • 專案活躍階段每週兼職工作量約為 10–20 小時
  • 從波蘭遠端工作
  • 薪酬最高相當於每小時 40 美元,具體取決於經驗程度和貢獻速度