資深反爬蟲抓取工程師 — Adthena(遠端,英國)
為 Adthena 的付費搜尋情報平台建構並營運具韌性的 Python 抓取系統。解決 Google 反機器人防禦、動態頁面與可靠大規模資料蒐集等挑戰。
說明
- 設計並營運面向 Google 及其他防護嚴密網站的大規模 Python 抓取系統
- 使用瀏覽器自動化與混合技術,為動態 JavaScript 驅動頁面開發抓取器
- 針對頁面結構、請求流程與反自動化控制的變化調整抓取系統
- 建構注重資料準確性、一致性與可觀測性的可靠擷取管線
- 應用代理伺服器、指紋識別與請求路由方法,提升穩定性與吞吐量
- 監控抓取系統運作狀況,及時識別故障並排查生產事故
- 提升抓取基礎設施的效能、成本效率與延遲表現
- 與資料工程、資料科學及產品團隊合作,交付可靠且可使用的抓取資料
- 維護清晰的抓取邏輯與營運流程文件
- 向工程主管回報
職位要求
- 具備 Python 或 Go、Rust、JavaScript 等主要程式語言的專業經驗,包括生產環境抓取系統經驗
- 擁有抓取 Google 或類似受保護平台的豐富實務經驗
- 深入了解 HTTP、TLS、Cookie、標頭、重新導向與瀏覽器網路通訊
- 有使用 Playwright、Selenium、Puppeteer 或類似瀏覽器自動化框架的經驗
- 深入理解 HTML 解析、DOM 遍歷與資料擷取
- 有管理速率限制、CAPTCHA、IP 輪換與機器人偵測系統的經驗
- 能夠適應非同步與並行抓取架構
- 有在雲端環境中大規模營運抓取器的經驗
- 具備出色的除錯能力,並能系統化處理複雜故障模式
- 有無頭瀏覽器指紋識別與反機器人規避方法經驗
- 熟悉 Docker 與 Kubernetes
- 有使用分散式任務處理系統與工作佇列的經驗
- 具備資料品質監控與異常偵測背景
- 有搜尋、廣告或競爭情報資料相關工作經驗
- 能夠向非技術受眾清楚解釋複雜的技術行為
- 申請表要求填寫英國工作許可情況
福利待遇
- 股票選擇權
- 以信任為基礎的休假政策
- 遠端優先的工作環境
- 彈性工作安排
- 透過 Sherpa 計畫獲得職涯發展與量身打造的培訓
- 每月駭客日與專屬培訓日
- 最長六個月的全薪產假
- 兩個月陪產假
- 200 美元居家辦公補助
- 70 美元公司商品迎新額度
- 生日當天休假
- 夏季與聖誕派對
- 年度及季度團隊外出活動
- 每月聚會
- 每季度帶薪志願服務時間
- 新創企業風格的工程文化
