資深資料基礎架構工程師（網頁爬取）
為社群媒體資料實驗室打造反爬蟲叢集與高吞吐量資料擷取管線。 開發可擴充的儲存與資料系統，支援 AI 建模。
說明
- 為社群媒體資料實驗室開發並維護資料擷取引擎。
- 使用住宅代理、TLS 指紋辨識、瀏覽器叢集和工作階段輪替，建置並維運隱蔽爬取叢集。
- 為 Instagram、TikTok、YouTube、X 及其他網路來源建立具韌性且可擴充的爬取管線。
- 設計分散式佇列和工作流程引擎，每天處理數百萬個非同步爬取任務。
- 為下游 AI 建模設計結構化與非結構化儲存系統。
- 針對平台介面和 API 變更、封鎖模式及代理故障設定自動警示。
- 每天交付數百萬筆個人檔案、貼文和影片紀錄，同時維持近乎持續的可用性。
職位要求
- 至少四年高流量網頁爬取、資料工程或逆向工程經驗。
- 具備使用 TLS 模擬、瀏覽器自動化和代理管理，繞過 Cloudflare、Akamai、PerimeterX 等進階反爬蟲服務的豐富經驗。
- 熟悉 Python 或 Go。
- 深入了解 Playwright、Puppeteer、Scrapy 或 Selenium。
- 具備 Temporal、Ray、Kafka 和 Redis 等分散式系統與任務佇列的經驗。
- 具備扎實的 SQL 技能。
- 具備現代分析型資料湖或資料倉儲經驗。
- 優先條件：具備從 TikTok、Instagram 和 YouTube 擷取短影音內容及使用者中繼資料的經驗。
- 優先條件：具備將爬取結果直接傳送至向量資料庫和即時 AI 處理佇列的經驗。
福利待遇
- 遠端工作安排。