
機器學習系統工程師(推論基準測試)
參與 CommonAI 英國人工智慧基礎設施研究,建置可重現的大型語言模型服務基準測試。 在實體系統和模擬環境中評估長上下文及代理式工作負載。
說明
- 建立並維護可重現的大型語言模型服務工作負載、設定和基準測試工具
- 運用合適的現有軟體建置長上下文及代理式工作負載
- 分析請求模式、提示詞和輸出長度、快取、批次處理、工具使用及請求相依性
- 結合應用程式品質和服務需求訂定效能衡量指標
- 與測量工程師合作,在實體系統上重現工作負載
- 與模擬器工程師合作,在保留關鍵行為和相依性的同時呈現工作負載
- 評估工作負載和服務設定的變更如何影響結論
- 隨著推論技術和工作負載的變化,持續更新基準測試
- 記錄資料集、模型和軟體版本、設定、來源及允許用途
- 依據議定的應用程式品質和服務需求,比較工作負載在不同系統上的效能
- 協助工程師和投資人了解特定應用程式的基礎設施選擇
職位要求
- 具備建置或評估機器學習系統、推論服務、效能基準測試或類似工作負載導向系統的經驗
- 具備紮實的軟體實作能力,能建置可靠的基準測試工具、分析結果,並除錯應用程式與基礎設施之間的互動
- 了解大型語言模型推論,並有興趣探討服務選擇如何影響效能和輸出品質
- 能謹慎設計可重現的比較,並依據明確的應用程式需求解讀結果
- 具備實際使用 AI 程式撰寫代理的經驗,並能妥善判斷如何驗證生成的程式碼、資料轉換和評估
- 具備 vLLM、SGLang 或類似服務軟體、長上下文工作負載、代理式應用程式、軌跡分析或品質評估經驗者佳
- 能從事大型語言模型服務相關工作;日後也可能考慮其他形式的推論工作
- 相關研究所學歷有幫助,但經驗和工作品質比學歷更重要
- 須居住於英國,或依雙方議定的混合辦公安排前往劍橋
福利待遇
- 具競爭力的薪酬方案,包含退休金和福利
- 專業發展機會
- 與科技和學術界具影響力人士交流拓展人脈
- 提供充足的前沿模型和程式撰寫代理工具預算
- 協作互助的工作環境
- 有機會為持續成長的組織作出重要貢獻
- 辦公室環境活躍,鄰近劍橋火車站
- 混合辦公,劍橋到班安排由雙方協議
- 提供永久、兼職和顧問等合作方式
- 可彈性安排開始日期
- 包容多元的工作環境

