資深 Python 資料擷取工程師(自由接案,埃及遠端)
為 Mindrift 的 AI 專案建構可靠的 Python 擷取系統。 從複雜的動態網站擷取、驗證並擴展結構化資料。
說明
- 管理複雜網站上的完整資料擷取流程
- 交付全面、準確且可靠的結構化資料集
- 使用工具和客製化工作流程,加快資料收集、驗證和任務完成
- 可靠地從動態、互動式和 JavaScript 渲染的來源擷取資料
- 隨著網站行為和結構演變調整擷取方法
- 透過驗證、跨來源核對、格式標準和系統化審查維護資料品質
- 透過高效批次處理或平行處理擴展大型資料集的擷取
- 追蹤擷取失敗情況,並在網站發生細微變更時維持穩定性
- 將網頁擷取、資料提取和資料處理專業知識應用於 Tendem 專案
職位要求
- 具備 5 年以上資料工程、網頁擷取、自動化或軟體開發相關經驗
- 工程、應用數學、電腦科學或相關技術領域的學士或碩士學位優先
- 具備進階 Python 擷取經驗,熟悉 BeautifulSoup、Selenium 或同類工具,以及 JavaScript/AJAX 內容、無限捲動、API 和代理伺服器
- 能夠從階層結構、封存頁面和不一致的 HTML 等複雜結構中擷取資訊
- 具備優秀的資料清理、正規化和驗證能力,並有產生 CSV、JSON 或 Google Sheets 資料集的經驗
- 具備在大規模環境中應對反機器人保護機制和不斷變化的網站結構的實務經驗
- 具備 AWS 或同類雲端基礎架構以及以 Docker 為基礎的容器化經驗
- 實際使用過 LangChain、OpenRouter 或類似工具等 LLM 框架進行自動化
- 極度重視細節,始終專注於資料準確性
- 能夠獨立工作、排解問題,並在極少監督下管理任務
- 英語程度達中高級(B2)或以上
- 擁有 GitHub 個人檔案或作品集連結者優先
福利待遇
- 自由接案專案合作
- 在專案活躍階段,每週兼職工作量約為 10–20 小時
- 遠端工作
- 依專案需求彈性安排工作量
