Baseten 為部署機器學習與人工智慧應用程式的企業提供模型推論基礎架構。其平台專為快速、可擴展的服務而打造，結合高吞吐量推論、快速部署、自動擴展、安全的企業級模型服務，以及對開源模型封裝的支援。Baseten 協助工程與機器學習團隊管理模型基礎架構的營運需求，讓他們能專注於開發領域專屬模型。公司業務涵蓋人工智慧、軟體即服務與企業科技領域，團隊規模為 11 至 50 人。
Baseten 推理效能軟體工程師（混合辦公）
Baseten 正在招募推理效能工程師，負責最佳化大型語言模型執行環境、GPU 核心與模型服務系統。 此職位專注於提升正式環境中的推理速度、硬體使用率與成本效益。
說明
- 將量化、推測解碼、KV 快取重用、分塊預填充、LoRA、引導式生成，以及自訂排程或路由等先進推理方法導入正式環境。
- 分析完整的推理流程，最佳化核心負載、記憶體配置、請求排程、預填充與解碼分離，以及快取感知路由。
- 在平衡延遲、吞吐量與成本的同時，提高每 GPU 小時產生的 token 數量與使用率。
- 在新硬體平台上部署並最佳化新興模型架構。
- 建立涵蓋模型類型、批次大小、序列長度與硬體配置的基準測試。
- 向 vLLM、SGLang 與 TensorRT-LLM 等開放原始碼推理專案提交改進。
- 與模型、基礎架構及客戶服務團隊合作，帶來可量化的效能提升。
職位要求
- 具備電腦科學、工程、數學或相關學科的學士、碩士或博士學位。
- 具備至少一種通用程式語言的專業經驗，包括 Python 或 C++。
- 了解量化、推測解碼與連續批次處理等大型語言模型最佳化方法。
- 熟悉機器學習函式庫，尤其是 PyTorch、TensorRT 或 TensorRT-LLM。
- 對大型語言模型具有濃厚興趣，並具備實務經驗。
- 深入理解 GPU 架構。
福利待遇
- 具競爭力的薪酬方案，並包含具實質意義的股權參與。
- 美國員工可享有完整的醫療、牙科與視力保險，保障範圍涵蓋員工及其受扶養家屬。
- 彈性的帶薪休假，以及公司統一的冬季休假。
- 帶薪育嬰假。
- 透過 Carrot 津貼提供生育與家庭組建支援。
- 美國員工可參加由公司協助辦理的 401(k) 計畫。
- 有機會與多家機器學習新創公司合作，獲得豐富的學習與職業人脈拓展機會。