Baseten 為部署機器學習與人工智慧應用程式的企業提供模型推論基礎架構。其平台專為快速、可擴展的服務而打造，結合高吞吐量推論、快速部署、自動擴展、安全的企業級模型服務，以及對開源模型封裝的支援。Baseten 協助工程與機器學習團隊管理模型基礎架構的營運需求，讓他們能專注於開發領域專屬模型。公司業務涵蓋人工智慧、軟體即服務與企業科技領域，團隊規模為 11 至 50 人。
軟體工程師，LLM 推理平台 - Baseten 混合辦公
為 AI 公司打造 Baseten 的分散式 LLM 推理平台。跨足 Kubernetes 編排、模型 API、路由、自動擴縮與生產環境可觀測性。
說明
- 建構大規模分散式 LLM 推理的基礎架構與編排系統，涵蓋路由、自動擴縮、排程與執行階段管理。
- 開發並維運支援結構化輸出、工具與函式呼叫及多模態服務的模型 API。
- 實作 API 版本管理、請求驗證、用量計量、配額與身分驗證。
- 建立涵蓋指標、追蹤與日誌的監測儀表，並提供可重複的基準測試，以評估速度、可靠性與品質。
- 制定完善的測試、發布自動化與卓越營運實務。
- 診斷並強化 Kubernetes、分散式執行階段、網路與 GPU 工作負載中的生產系統。
- 與推理效能工程師及合作團隊協作，交付面向客戶的最佳化方案。
- 從架構與部署到監控，以及根據客戶回饋進行迭代，主導專案推進。
- 在系統效能、可靠性、營運簡潔性與開發者體驗之間取得平衡。
職位要求
- 具備電腦科學、工程或相關領域的學士、碩士或博士學位，或同等實務經驗。
- 至少三年建構與維運分散式系統、後端基礎架構或大規模 API 的經驗，且可靠性、延遲與規模是關鍵要求。
- 具備負責低延遲、高可靠後端服務的實績，涉及速率限制、身分驗證、配額、用量計量與遷移。
- 具備強大的基礎架構判斷力，包括效能分析、追蹤、容量規劃與 SLO 管理經驗。
- 能夠診斷應用程式、執行階段與基礎架構各層的效能及可靠性問題。
- 高度重視開發者體驗。
- 願意學習新的語言、框架與系統，並對推理工程感興趣。
- 具備出色的書面溝通與協作能力，包括清楚的設計文件撰寫能力及有效的跨職能合作經驗。
- 具備 vLLM、SGLang、TensorRT-LLM、TGI 或 Dynamo 等 LLM 推理引擎或框架的經驗，或曾參與相關貢獻者優先。
- 具備深厚的 Kubernetes 經驗，包括 operators 與自訂資源；熟悉服務網格或 API 閘道者優先。
- 具備分散式排程、自動擴縮或服務編排經驗者優先。
- 具備在生產環境執行 GPU 工作負載的經驗者優先。
- 具備面向開發者的基礎架構或 API 背景，或曾對開源基礎架構或機器學習系統作出貢獻者優先。
- 熟悉可觀測性工具、CI/CD 系統或發布自動化者優先。
福利待遇
- 具競爭力的薪酬與具實質價值的股權。
- 為美國員工及其家屬全額提供醫療、牙科與視力保險。
- 彈性的帶薪休假，包括全公司冬季休假。
- 帶薪育嬰假。
- 透過 Carrot 津貼提供生育與組建家庭支援。
- 為美國員工提供由公司協助安排的 401(k) 計畫。
- 接觸各類機器學習新創公司，帶來豐富的學習與專業人脈拓展機會。