Mindrift
Mindrift
501 – 1,000 員工
SaaS人工智慧市集
Mindrift 是一家人工智慧人才市場與 SaaS 平台,將專業貢獻者及領域專家與科技公司的人工智慧訓練和評估專案連結起來。作為 Toloka 的一部分,Mindrift 與作家、編輯、品質保證專家、科學家及其他領域專家合作,協助產生訓練資料、評估模型的安全性與推理能力、評量媒體品質,並建立用於提升人工智慧效能與可靠性的真實情境。Mindrift 透過評估和身分驗證招募並審核貢獻者,接著為他們提供人工智慧訓練與評估領域中彈性且有酬的專案機會。

高級 Python 網頁抓取工程師——巴西遠端

負責為 Mindrift 的人工智慧技術專案提供可靠的網頁抓取、資料驗證與結構化資料交付。工作內容涵蓋動態網站、反機器人系統、雲端基礎架構,以及以大型語言模型為基礎的自動化工具。

說明

  • 負責跨複雜網站的完整資料擷取流程
  • 交付涵蓋全面、準確度高且時程可靠的結構化資料集
  • 使用現有工具與客製化工作流程,加快資料收集、驗證與任務執行
  • 從動態與互動式來源擷取資訊,包括由 JavaScript 渲染的頁面
  • 隨網站行為變化調整抓取方法
  • 透過資料驗證、跨來源核查、格式要求與系統化檢查維持資料品質
  • 透過高效批次處理或平行處理擴展大量網頁抓取
  • 追蹤失敗情況,並透過因應網站結構的小幅變更維持穩定性
  • 將 Apify、OpenRouter 及相關技術整合至抓取與處理工作流程中

職位要求

  • 至少五年資料工程、網頁抓取、自動化或軟體開發相關經驗
  • 工程、應用數學、電腦科學或相關技術領域的學士或碩士學位尤佳
  • 具備紮實的技術基礎,並有腳本撰寫、自動化與資料擷取工作流程的實務經驗
  • 擁有豐富的 Python 抓取經驗,熟悉 BeautifulSoup、Selenium 或同類工具、動態內容,以及基於代理的 API
  • 能夠從複雜結構中擷取資訊,包括階層結構、封存頁面與不一致的 HTML
  • 具備紮實的資料清理、正規化與驗證經驗
  • 具備大規模處理反機器人系統與動態網站結構的實務能力
  • 具備 AWS 或同類雲端基礎架構以及 Docker 容器化經驗
  • 有將 LangChain、OpenRouter 或類似大型語言模型框架應用於自動化任務的實務經驗
  • 高度重視細節,致力於確保資料準確性
  • 能夠自主工作並獨立排查問題
  • 英語中高級程度(B2)或以上
  • 提供 GitHub 個人檔案連結者尤佳

福利待遇

  • 自由工作者合作
  • 兼職遠端工作
  • 專案活躍階段每週約 10–20 小時
  • 薪酬最高相當於每小時 25 美元,具體取決於經驗程度與貢獻速度
  • 有機會參與創新科技與人工智慧開發專案

相關職缺