資深 Python 資料擷取工程師——自由接案遠端
Mindrift 正在尋找一名資深 Python 工程師,為 AI 專案建立可靠的網頁擷取與資料處理工作流程。此職位專注於從複雜網站擷取、驗證並規模化處理結構化資料。
說明
- 負責複雜網站上的端到端資料擷取工作流程
- 交付完整、準確且可靠的結構化資料集
- 運用現有工具與自訂工作流程,加快資料收集、驗證與任務執行
- 從動態互動式來源收集資料,適應 JavaScript 渲染內容及不斷變化的網站行為
- 透過驗證檢查、跨來源一致性審查、格式要求與系統化核驗維護資料品質
- 透過高效批次處理或平行處理擴展大規模資料擷取
- 監控故障,並透過應對輕微網站結構變化維持擷取器穩定
- 使用 Apify、OpenRouter 及其他相關技術
職位要求
- 在資料工程、網頁擷取、自動化或軟體開發領域擁有 5 年以上相關經驗
- 英語能力達到 B2 或以上的中高級程度
- 具備扎實的 Python 擷取經驗,熟悉 BeautifulSoup、Selenium 或同類工具,能處理 JavaScript、AJAX、無限捲動等動態內容,並使用基於代理的 API
- 能夠從複雜結構中擷取資訊,包括階層結構、封存頁面與不一致的 HTML
- 具備清理、正規化與驗證資料的經驗,能以 CSV、JSON 或 Google Sheets 格式交付
- 具備大規模處理反機器人機制與不斷變化網站結構的經驗
- 具備 AWS 或同等雲端基礎架構以及 Docker 容器化的實務經驗
- 具備使用 LangChain、OpenRouter 或類似 LLM 框架進行自動化的實作經驗
- 注重細節,致力於確保資料準確性
- 能夠獨立工作並有效排查問題
- 擁有工程、應用數學、電腦科學或相關技術學科學士或碩士學位者佳
- 提供 GitHub 個人檔案連結者佳
福利待遇
- 自由接案合作
- 遠端兼職工作
- 專案活躍階段每週約 10–20 小時
- 時薪最高相當於 40 美元,具體取決於經驗程度與貢獻速度
