AI 硬體執行時工程師
為 Normal Computing 以記憶體為核心的 AI 硬體設計執行時軟體。 負責架構、硬體抽象及大型語言模型推論效能。
說明
- 主導裝置管理、記憶體配置、主機與裝置間傳輸、可執行檔載入及命令提交等執行時架構。
- 在晶片尚未可用之前，透過一致的介面為模擬器和 FPGA 原型開發執行時。
- 抽象模擬器、FPGA 原型、矽晶片及未來各代硬體之間的差異。
- 管理儲存在硬體上的裝置狀態，包括在請求之間保持常駐的模型權重。
- 降低大型語言模型推論關鍵路徑上的執行時負擔，以改善端對端延遲和吞吐量。
- 定義與編譯器、驅動程式及韌體元件的介面。
- 引導執行時的技術方向，並審查依賴該執行時的設計。
- 與編譯器和服務工程師合作，設計有效的介面。
職位要求
- 具備為加速器或其他專用硬體開發執行時、驅動程式或硬體抽象層的經驗。
- 具備扎實的 C++ 或 Rust 系統程式設計能力，包括記憶體管理、並行處理及底層效能。
- 曾負責複雜系統元件從設計到正式環境部署的完整過程。
- 具備跨團隊主導技術決策的經驗。
- 了解大型語言模型推論工作負載及其執行時需求。
- 能夠為持續變動的硬體開發軟體，涵蓋模擬到硬體 bring-up 階段。
- 加分條件：熟悉 IREE HAL 等開放式執行時設計，或了解 CUDA、ROCm 執行時內部機制。
- 加分條件：具備記憶體內運算或其他非馮紐曼硬體的經驗。
- 加分條件：具備將執行時整合至 vLLM 等推論伺服器的經驗。
- 加分條件：曾為開放原始碼執行時或系統基礎設施作出貢獻。
福利待遇
- 股權。
- 依績效提供的獎勵。
- 完整的薪酬方案。
- 旨在支持員工身心健康與職涯發展的福利。
- 具競爭力且公平的薪酬。
- 為身心障礙員工提供合理便利。
