資深 Python 資料擷取工程師(自由接案,瑞典遠端)
Mindrift 正在尋找一名資深 Python 工程師,為 AI 專案建立可靠的資料擷取流程。 此職位專注於從複雜且動態的網站擷取、驗證並擴展結構化資料。
說明
- 負責複雜網站上的完整資料擷取流程
- 交付全面、準確且可靠的結構化資料集
- 結合可用工具與客製化工作流程,加快資料收集、驗證與任務完成
- 從動態互動式網站收集資料,並適應 JavaScript 渲染內容及不斷變化的網站行為
- 透過驗證檢查、跨來源比對、格式標準與系統化核驗維護資料品質
- 透過高效批次處理與平行處理擴展大量資料擷取
- 追蹤擷取失敗情況,並透過應對網站結構的小幅變化維持系統穩定性
- 結合扎實的技術判斷力,使用 Apify、OpenRouter 及其他相關技術
職位要求
- 至少五年資料工程、網頁擷取、自動化或軟體開發相關經驗
- 具備進階 Python 擷取經驗,熟悉 BeautifulSoup、Selenium 或同類工具,了解 JavaScript、AJAX、無限捲動等動態內容,以及基於代理伺服器的 API
- 能夠從複雜結構中擷取資訊,包括階層結構、封存頁面與不一致的 HTML
- 具備為結構化 CSV、JSON 或 Google Sheets 輸出清理、正規化與驗證資料的經驗
- 具備在大規模情境下管理反機器人防護機制及因應網站結構變化的實務經驗
- 具備在生產工作流程中使用 AWS 或同類雲端基礎架構與 Docker 容器的經驗
- 具備將 LangChain、OpenRouter 或類似工具等 LLM 框架應用於自動化的實務經驗
- 注重細節,始終關注資料準確性
- 能夠獨立自主地進行疑難排解與問題解決
- 英語中高級程度(B2)或以上
- 工程、應用數學、電腦科學或相關技術領域的學士或碩士學位尤佳
- 擁有 GitHub 個人檔案尤佳
福利待遇
- 自由接案合作
- 遠端兼職工作
- 專案活躍階段預計每週 10–20 小時
