Baseten 為部署機器學習與人工智慧應用程式的企業提供模型推論基礎架構。其平台專為快速、可擴展的服務而打造，結合高吞吐量推論、快速部署、自動擴展、安全的企業級模型服務，以及對開源模型封裝的支援。Baseten 協助工程與機器學習團隊管理模型基礎架構的營運需求，讓他們能專注於開發領域專屬模型。公司業務涵蓋人工智慧、軟體即服務與企業科技領域，團隊規模為 11 至 50 人。
Baseten GPU 推論效能工程經理
在 AI 基礎設施公司 Baseten 負責 GPU 推論效能工程。帶領執行階段最佳化、模型效率提升，以及專業技術團隊的成長。
說明
- 透過定期一對一會談、回饋、職涯規劃與績效評估，管理、指導並培養推論效能工程師
- 招募 GPU 與推論工程師，同時營造協作型團隊文化
- 負責執行階段效能路線圖及其執行
- 審查技術設計，指導效能分析與最佳化工作，並協助工程師評估時間與記憶體使用量
- 將量化、推測解碼、KV 快取重用、分塊預填充與自訂排程投入生產環境
- 將效能提升轉化為每 GPU 小時產生的 token 數、使用率、延遲與成本方面可量化的改善
- 讓新的模型架構運行於新興硬體上，並調校其效能
- 與基礎設施、推論平台、核心、模型 API 以及面向客戶的團隊合作，排定工作優先順序、協調發布並交付改善成果
- 建立涵蓋品質、基準測試、卓越營運與事故回應的工程標準
- 推進代理式推論最佳化、代理式核心、推測解碼模型訓練，以及 Baseten Inference Stack 的發展
職位要求
- 具備電腦科學、工程、數學或相關學科的學士、碩士或博士學位
- 具備工程招募、指導、回饋與績效評估方面的管理經驗
- 具備在訓練、推論或推薦系統中領導或密切支援 GPU 最佳化團隊的經驗
- 深入了解 GPU 工作負載、架構與效能取捨
- 熟悉 PyTorch、TensorRT 或 TensorRT-LLM 等機器學習函式庫
- 具備制定路線圖並與團隊交付複雜技術專案的能力
- 具備出色的書面與口頭溝通能力，能協調跨團隊利害關係人
- 熟悉 vLLM、SGLang 或 TensorRT-LLM 等推論引擎
- 具備應用量化、推測解碼與連續批次處理等大型語言模型最佳化方法的經驗
- 具備使用 CUDA、Triton 或 CUTLASS 開發或處理 GPU 核心的經驗
- 具備在新創企業快速成長期間擴建工程團隊的經驗
- 在轉任管理職務前，曾以效能工程師或系統工程師身分親自參與相關工作
福利待遇
- 具競爭力的薪酬方案，並包含具價值的股權
- 對於美國員工，為員工及其家屬提供完整的醫療、牙科與視力保險
- 彈性的帶薪休假，包括全公司冬季休假
- 帶薪育嬰假
- 透過 Carrot 提供生育與家庭組建支援
- 對於美國員工，提供由公司協助辦理的 401(k) 計畫
- 有機會與各類機器學習新創公司合作並建立業界人脈
