Mindrift
Mindrift
501 – 1,000 員工
SaaS人工智慧市集
Mindrift 是一家人工智慧人才市場與 SaaS 平台,將專業貢獻者及領域專家與科技公司的人工智慧訓練和評估專案連結起來。作為 Toloka 的一部分,Mindrift 與作家、編輯、品質保證專家、科學家及其他領域專家合作,協助產生訓練資料、評估模型的安全性與推理能力、評量媒體品質,並建立用於提升人工智慧效能與可靠性的真實情境。Mindrift 透過評估和身分驗證招募並審核貢獻者,接著為他們提供人工智慧訓練與評估領域中彈性且有酬的專案機會。

資深 Python 網頁抓取工程師(自由接案,葡萄牙遠端)

為 Mindrift 的 Tendem AI 專案建立可靠的網頁抓取與資料處理管線。 從複雜且動態的網站擷取、驗證並擴充結構化資料集。

說明

  • 負責從複雜網站進行端到端資料擷取,交付完整、準確且可靠的結構化資料集
  • 使用工具與客製化工作流程,加快資料蒐集、驗證與任務完成
  • 從動態及互動式來源蒐集資料,適應 JavaScript 渲染內容與不斷變化的網站行為
  • 透過驗證檢查、跨來源比對、格式要求與系統化審查,維持資料品質
  • 透過高效批次處理或平行處理,擴展大型資料集的抓取作業
  • 追蹤擷取失敗情況,並在網站發生輕微結構變化時維持穩定性
  • 在專業化的 Tendem 專案工作流程中運用網頁抓取、資料擷取與資料處理專業知識

職位要求

  • 具備至少五年資料工程、網頁抓取、自動化或軟體開發相關經驗
  • 具備扎實的 Python 抓取技能,熟悉 BeautifulSoup、Selenium 或同類工具、JavaScript 與 AJAX 內容、無限捲動、API 及代理伺服器
  • 能夠從複雜階層結構、封存頁面與不一致的 HTML 中擷取資訊
  • 具備資料清理、正規化與驗證的紮實基礎,並有產製結構化 CSV、JSON 與 Google Sheets 資料集的經驗
  • 具備大規模處理反機器人防護機制與不斷變化網站結構的經驗
  • 具備 AWS 或同類雲端基礎架構以及基於 Docker 的容器化經驗
  • 具備將 LangChain、OpenRouter 或類似工具等 LLM 框架應用於自動化任務的實務經驗
  • 注重細節,持續專注於資料準確性
  • 能夠獨立工作,主動負責疑難排解,並維持自我驅動的工作方式
  • 英語達到中高級(B2)或更高程度
  • 擁有工程、應用數學、電腦科學或相關技術領域學士或碩士學位者佳
  • 擁有 GitHub 個人檔案連結者佳

福利待遇

  • 自由接案合作
  • 專案活躍階段預計每週兼職工作 10–20 小時
  • 遠端工作安排
  • 有機會透過 Mindrift 平台參與創新科技專案