資深 Python 資料擷取工程師(兼職,喬治亞遠端)
Mindrift 正在尋找一名資深 Python 工程師,為人工智慧技術專案建立可靠的資料擷取流程。 此職位主要負責從複雜的動態網站擷取、驗證並擴充結構化資料集。
說明
- 管理複雜網站上的端到端資料擷取流程
- 交付完整、準確且可靠的結構化資料集
- 運用現有工具與自訂工作流程,加快資料收集、驗證及任務執行
- 從動態及互動式網頁來源擷取資料,包括 JavaScript 渲染頁面
- 因應網站行為變化調整擷取方法
- 透過驗證檢查、跨來源一致性控管、格式要求及系統化核驗維持資料品質
- 透過高效的批次處理或平行處理擴展大型資料集擷取
- 監控失敗情況,並在網站結構發生輕微變化時維持穩定性
- 結合使用 Apify、OpenRouter 等工具與相關技術專長
職位要求
- 至少 5 年資料工程、網頁擷取、自動化或軟體開發相關經驗
- 具備工程、應用數學、電腦科學或相關技術領域學士或碩士學位者優先
- 具備扎實的 Python 網頁擷取經驗,熟悉 BeautifulSoup、Selenium 或同類工具、動態內容,以及透過代理伺服器存取的 API
- 能夠從複雜結構中擷取資訊,包括階層結構、封存頁面及不一致的 HTML
- 具備清理、正規化及驗證資料的豐富經驗,能以 CSV、JSON 或 Google Sheets 格式交付
- 具備大規模處理反機器人機制及動態網站結構的實務經驗
- 具備 AWS 或同類雲端基礎架構,以及以 Docker 為基礎的容器化經驗
- 具備將 LangChain 或 OpenRouter 等 LLM 框架應用於自動化任務的實作經驗
- 高度重視細節,並致力於確保資料準確性
- 能夠獨立工作,並在無需密切監督的情況下排查問題
- 英語中高級程度(B2)或以上
- 擁有 GitHub 個人檔案連結者佳
福利待遇
- 兼職遠端自由工作合作
- 專案活躍階段每週約 10–20 小時
- 參與技術與人工智慧開發專案
