Mindrift
Mindrift
501 – 1,000 員工
SaaS人工智慧市集
Mindrift 是一家人工智慧人才市場與 SaaS 平台,將專業貢獻者及領域專家與科技公司的人工智慧訓練和評估專案連結起來。作為 Toloka 的一部分,Mindrift 與作家、編輯、品質保證專家、科學家及其他領域專家合作,協助產生訓練資料、評估模型的安全性與推理能力、評量媒體品質,並建立用於提升人工智慧效能與可靠性的真實情境。Mindrift 透過評估和身分驗證招募並審核貢獻者,接著為他們提供人工智慧訓練與評估領域中彈性且有酬的專案機會。

資深 Python 網頁抓取工程師(自由接案,遠端)

為 Mindrift 的 AI 專案建構並擴展可靠的 Python 網頁抓取工作流程。從複雜的動態網站中擷取、驗證並交付準確的結構化資料。

說明

  • 執行技術精準的網頁抓取與資料處理任務
  • 管理複雜網站上的完整擷取工作流程,交付全面、準確且可靠的結構化資料集
  • 使用現有工具與客製化工作流程,依據既定要求加快資料蒐集、驗證與任務完成
  • 針對 JavaScript 渲染頁面、互動式資料來源以及不斷變化的網站行為調整擷取方法
  • 實施資料品質控管,包括驗證、跨來源核對、格式標準以及交付前的系統化檢查
  • 透過高效批次處理或平行處理擴展大批量網頁抓取
  • 追蹤擷取失敗情況,並透過因應網站結構的小幅變化維持營運穩定性
  • 使用 Apify、OpenRouter 及其他相關技術支援抓取作業

職位要求

  • 具備至少 5 年資料工程、網頁抓取、自動化或軟體開發相關經驗
  • 熟練使用 BeautifulSoup、Selenium 或同類工具進行 Python 抓取,能夠處理動態內容與基於代理的 API
  • 能夠從複雜結構中擷取資訊,包括階層結構、封存頁面與不規則 HTML
  • 能夠清理、正規化並驗證資料,並以 CSV、JSON 或 Google Sheets 格式交付
  • 能夠大規模應對反機器人防護機制與不斷變化的網站結構
  • 能夠使用 AWS 或同類雲端基礎設施,以及基於 Docker 的容器化技術
  • 能夠將 LangChain、OpenRouter 或類似 LLM 框架應用於自動化工作流程
  • 具備出色的細節關注能力與資料準確性意識
  • 能夠獨立工作,並以自主方式排解問題
  • 英語達到中高級(B2)或更高程度
  • 擁有工程、應用數學、電腦科學或相關技術學科學士或碩士學位者佳
  • 擁有 GitHub 個人檔案連結者佳

福利待遇

  • 自由接案合作
  • 遠端兼職安排
  • 專案活躍階段每週約 10–20 小時
  • 有機會透過 Mindrift 平台參與創新科技專案