資深 Python 資料擷取工程師 — 自由接案遠端工作
為 Mindrift 的 Tendem AI 專案建立並維護準確、可擴充的網頁擷取流程。 使用 Python 與自動化工具擷取、驗證並處理複雜網頁資料。
說明
- 負責複雜網站從頭到尾的資料擷取
- 交付涵蓋完整、準確度高且周轉可靠的結構化資料集
- 結合現有工具與自訂工作流程,加快資料收集、驗證與任務完成
- 從動態互動式網站收集資料,並適應 JavaScript 轉譯內容及不斷變化的網站行為
- 透過驗證流程、跨來源檢查、格式標準與系統化審查維護資料集品質
- 透過高效批次處理或平行執行,擴充大型資料集的擷取能力
- 追蹤擷取失敗情況,並在網站結構發生輕微變化時維持穩定性
- 結合使用 Apify 與 OpenRouter,並運用紮實的技術判斷力
職位要求
- 具備至少五年資料工程、網頁擷取、自動化或軟體開發相關經驗
- 具備紮實的 Python 擷取技能,熟悉 BeautifulSoup、Selenium 或同類工具、JavaScript 與 AJAX 內容、無限捲動,以及基於代理伺服器的 API
- 能夠從階層結構、封存頁面及 HTML 不一致等複雜來源取得資料
- 了解如何清理、正規化及驗證資料,並以 CSV、JSON 與 Google Sheets 格式交付結構化結果
- 具備在大規模情境下處理反機器人防護措施及不斷變動網站結構的實務經驗
- 曾在實際專案中使用 AWS 或同類雲端基礎設施及 Docker 容器化
- 曾將 LangChain 或 OpenRouter 等 LLM 框架應用於自動化工作
- 注重細節並高度重視資料準確性
- 能夠獨立工作、主動推進,並在無需密切監督的情況下排解問題
- 英語達到中高級(B2)或更高程度
- 工程、應用數學、電腦科學或相關技術領域的學士或碩士學位佳
- 具備 GitHub 個人檔案連結佳
福利待遇
- 遠端進行的兼職自由接案合作
- 專案活躍階段每週約 10–20 小時
- 最高相當於每小時 25 美元的報酬,視經驗程度與貢獻速度而定
