資深 Python 資料擷取工程師 - 兼職遠端
負責為 Mindrift 的 AI 技術專案建立可靠的網頁擷取與結構化資料交付流程。 自動化處理複雜動態網站的資料擷取、驗證與大規模處理。
說明
- 負責複雜網站的端到端資料擷取
- 交付完整、準確且可靠的結構化資料集
- 使用工具與自訂工作流程加快資料收集、驗證與任務執行
- 從動態網頁來源擷取資料，同時適應 JavaScript 內容與不斷變化的網站行為
- 透過驗證、一致性檢查、格式控制與系統化核驗維持資料品質
- 透過高效的批次處理與平行處理擴展大規模資料擷取
- 監控失敗情況，並在網站結構發生輕微變化時維持系統穩定
- 應用 Apify、OpenRouter 及相關技術進行網頁擷取與資料處理
職位要求
- 在資料工程、網頁擷取、自動化或軟體開發領域擁有 5 年以上相關經驗
- 擁有工程、應用數學、電腦科學或相關技術領域的學士或碩士學位者優先
- 具備扎實的技術能力，並有腳本撰寫、自動化與資料擷取工作流程的實務經驗
- 具備進階 Python 網頁擷取經驗，熟悉 BeautifulSoup、Selenium 或類似工具、動態 JavaScript/AJAX 內容、無限捲動與代理 API
- 能夠從複雜階層結構、封存頁面與不一致的 HTML 中擷取資訊
- 具備清理、正規化與驗證資料，並以 CSV、JSON 或 Google Sheets 格式交付的經驗
- 具備大規模管理反機器人機制與不斷變化網站結構的經驗
- 具備 AWS 或同等雲端基礎架構及 Docker 容器化經驗
- 具備將 LangChain、OpenRouter 或類似 LLM 框架應用於自動化的實務經驗
- 對資料準確性與品質一絲不苟
- 能夠獨立工作並有效排除問題
- 英語程度達中高級（B2）或以上
- 提供 GitHub 個人檔案連結者優先
福利待遇
- 自由接案合作
- 兼職遠端工作
- 活躍階段每週約 10–20 小時
- 時薪最高相當於 25 美元，具體取決於經驗程度與貢獻速度
- 有機會透過 Mindrift 平台參與創新科技專案