推理工程師——Adaption（混合辦公，灣區）
在開發適應性智慧系統的人工智慧公司 Adaption，最佳化推理基礎設施的吞吐量、成本與延遲。 改善 GPU、推理引擎與生產工作負載上的模型服務。
說明
- 負責推理技術堆疊的成本與效能整體工作。
- 透過 KV 快取管理、連續批次處理、推測解碼與量化，提高吞吐量並降低成本與尾端延遲。
- 針對真實生產流量，最佳化長上下文預填充與解碼工作負載。
- 根據成本、容量與效能，在內部基礎設施與外部供應商之間調整路由。
- 使用 vLLM、SGLang 與 TensorRT-LLM 等服務引擎，並在必要時深入框架底層工作。
- 開發效能分析與測量系統，以定位時間、記憶體與計算資源的使用情況。
- 與負責服務叢集的工程師密切合作。
職位要求
- 具備至少五年機器學習系統、推理基礎設施或效能工程經驗，並取得可量化的成本或延遲改善。
- 深入了解模型服務，包括預填充與解碼、記憶體頻寬、批次處理與並行。
- 具備使用 vLLM、SGLang 或 TensorRT-LLM 等服務引擎的生產經驗。
- 熟練使用 Python，並精通 C++、Rust 或其他系統程式語言。
- 了解 GPU 效能相關主題，包括 CUDA、NCCL、混合精度、記憶體配置、核心或量化。
- 能在混合辦公模式下於灣區現場工作。
福利待遇
- 在灣區進行面對面協作，同時加入一支分散式、全球優先的團隊，並參加團隊線下聚會。
- 每年獲得 Adaption Passport 旅遊津貼，用於探索一個過去未曾造訪的國家。
- 獲得每週外送餐點或雜貨配送補助。
- 享有完整的醫療保障與充裕的帶薪休假。