資深 Python 資料擷取工程師——在日本遠端工作
為 Mindrift 的 Tendem AI 專案建立可靠的 Python 網頁資料擷取流程。\n從複雜且動態的網站中擷取、驗證並擴充結構化資料集。
說明
- 負責複雜網站的端到端資料擷取
- 交付完整、準確且可靠的結構化資料集
- 使用現有工具和自訂工作流程,加速資料收集、驗證與任務執行
- 從動態與互動式來源擷取資料,包括 JavaScript 渲染的內容
- 隨網站行為變化調整資料擷取方法
- 透過驗證、跨來源檢查、格式標準與系統化核驗維持資料品質
- 透過高效批次處理或平行處理擴充大量資料擷取
- 監控失敗情況,並在網站結構發生輕微變化時維持穩定性
- 應用 Apify、OpenRouter 及其他技術進行網頁資料擷取與處理
職位要求
- 至少 5 年資料工程、網頁資料擷取、自動化或軟體開發相關經驗
- 具備工程、應用數學、電腦科學或相關技術領域的學士或碩士學位者優先
- 具備扎實的 Python 資料擷取經驗,熟悉 BeautifulSoup、Selenium 或類似工具,能處理 JavaScript、AJAX 和無限捲動等動態內容,並能透過代理伺服器存取 API
- 能夠從複雜結構中擷取資料,包括階層結構、封存頁面與不一致的 HTML
- 具備紮實的資料清理、正規化與驗證經驗,並有交付 CSV、JSON 或 Google Sheets 資料集的經驗
- 具備大規模管理反機器人機制與動態網站結構的經驗
- 具備 AWS 或同等雲端基礎架構經驗
- 具備使用 Docker 進行容器化的經驗
- 具備使用 LangChain、OpenRouter 或類似自動化工具等 LLM 框架的實務經驗
- 注重細節並致力於確保資料準確性
- 具備自我驅動能力,能夠獨立排查問題
- 英語中高級程度(B2)或以上
- 提供 GitHub 連結者優先
福利待遇
- 自由接案機會
- 兼職工作,活躍階段預計每週約 10–20 小時
- 遠端工作
- 有機會參與創新科技與人工智慧開發專案
