資深推理工程師 - 貝爾維尤混合辦公
負責為一家 AI 基礎設施公司開發生產級模型服務系統。 提升大規模 AI 工作負載中的 GPU 使用率、延遲、吞吐量、可擴展性與可靠性。
說明
- 建構並營運面向高吞吐量、低延遲 AI 工作負載的生產級模型服務與推理系統
- 針對多元模型與工作負載，最佳化推理基礎設施的令牌吞吐量、延遲、可擴展性與成本效益
- 設計能有效運用 GPU 並持續提供穩定效能與可靠性的系統
- 隨著客戶需求增加，提升推理平台的可擴展性與營運成熟度
- 與 AI 訓練、GPU 效能、編排及基礎設施團隊合作，將模型從開發環境推向生產環境
- 建立支援可靠推理服務的監控、告警與營運實務
- 診斷並解決推理工作負載中的效能、可靠性與容量問題
- 隨著平台發展，參與架構決策並制定工程標準
職位要求
- 具備大規模建構與營運生產級機器學習推理或模型服務系統的經驗
- 深入了解服務大型 AI 模型時涉及的延遲、吞吐量、記憶體使用率與成本效益取捨
- 具備可靠分散式系統或生產基礎設施的設計經驗
- 了解以 GPU 為基礎的 AI 工作負載，以及擴展推理系統所面臨的挑戰
- 具備紮實的工程基礎，能夠獨立負責複雜技術問題
- 能適應快速發展的環境，在其中從零開始建構系統與流程
- 具備使用 vLLM、SGLang、TensorRT-LLM、Triton Inference Server 或同類技術的經驗
- 具備最佳化 LLM 推理工作負載或大規模 AI 服務平台的經驗
- 具備營運以 API 為基礎的 AI 產品或高流量生產服務的背景
- 具備 GPU 排程、分散式系統、Kubernetes 或雲端基礎設施平台經驗
- 熟悉量化、批次處理、快取或效能調校
- 具備在超大規模雲端服務商、AI 實驗室、GPU 雲端服務商或大規模機器學習基礎設施組織工作的經驗
- 需要具備美國工作許可
- 目前無法提供簽證贊助
- 願意在華盛頓州貝爾維尤市中心接受混合辦公安排；永久辦公室成立後，每週至少在辦公室工作三天
福利待遇
- 符合貝爾維尤市場水準的具競爭力基本薪資
- 依績效調薪
- 年度獎金
- 長期激勵
- 醫療保險
- 牙科保險
- 視力保險
- 401(k) 計畫
- 公司 401(k) 提撥配對
- 帶薪假日
- 新創公司所有權與有意義的技術影響力
- 與經驗豐富的 AI 基礎設施團隊合作