
基礎模型資料工程師
為 Sciforium 的多模態 AI 模型建置 PB 級預訓練與後訓練資料集。 開發用於語言、視覺和影片訓練的高效能資料管線。
說明
- 端到端建置大型語言模型的預訓練資料集。
- 篩選並平衡網頁、程式碼、書籍和技術論文資料,以提升下游模型效能。
- 建置資料管線,清理、去重並從 PB 級非結構化資料中擷取訊號。
- 主導後訓練資料集開發,包括監督式微調指令、多輪對話,以及 RLHF/DPO 偏好資料。
- 負責視覺與影片資料的蒐集和處理。
- 使用多處理程序和多執行緒撰寫高吞吐量 Python 資料處理指令碼。
- 對訓練語料進行統計分析,找出偏差、知識缺口和品質退化。
- 建置合成資料管線,補足自然蒐集資料集的缺口。
- 解決多模態對齊、影片壓縮和時間一致性方面的挑戰。
職位要求
- 至少五年資料科學或機器學習產業經驗。
- 具備為基礎模型建置和管理資料集的實務經驗。
- 精通 Python,包括多處理程序、多執行緒和高效能記憶體管理。
- 具備處理 PB 級生產環境大型語言模型或大型視覺模型資料集的經驗。
- 具備使用原始網頁爬取資料和專業領域資料,從零建置大型 LLM 訓練資料集的經驗。
- 具備建置 RLHF、DPO 和多輪指令遵循資料集的實務經驗。
- 具備管理人工標註流程和高品質黃金標準資料集的經驗。
- 熟悉 Spark、Ray、WebDataset、Parquet 或其他適用於大規模資料的同類框架和格式。
- 具備從零建置大型影像或影片資料集的經驗者佳。
- 熟悉多模態爬取、影片處理、編解碼器和壓縮者佳。
- 具備為推理、程式設計和數學基準設計複雜標註規範的經驗者佳。
- 具備定量領域碩士或博士學位,且研究方向著重於資料中心型 AI 或資訊檢索者佳。
- 具備在美國工作的合法資格。
福利待遇
- 醫療、牙科和視力保險。
- 401(k) 退休儲蓄計畫。
- 每日提供午餐、點心和飲料。
- 彈性休假。
- 具競爭力的薪酬。
- 股權。



