深度學習推論資深軟體工程師
在 NVIDIA 建置並調校用於大規模 AI 推論的 GPU 加速軟體。 改進開源服務框架,並提升 NVIDIA 加速器上的模型效能。
說明
- 建置並最佳化用於 AI 應用程式的 GPU 加速軟體。
- 開發並維護用於大規模模型服務與推論的開源框架。
- 強化推論平台,並支援語言模型部署與服務。
- 實作可透過推論框架發布的新演算法。
- 提升 NVIDIA 加速器上先進 LLM 與生成式 AI 模型的效能。
- 運用 CUTLASS、OAI Triton、NCCL 和 CUDA 核心等工具,最佳化模型服務流程。
- 分析並調校 LLM、多模態與生成式 AI 領域的深度學習模型。
- 在不同架構和 NVIDIA 加速器類型上擴展模型效能。
- 為 NVIDIA 推論程式庫、vLLM、SGLang、FlashInfer 和 LLM 軟體貢獻功能與程式碼。
- 與框架、NVIDIA 程式庫及推論最佳化解決方案團隊合作。
職位要求
- 計算機工程、資訊工程、EECS、人工智慧等相關領域的碩士、博士學位或同等經驗。
- 至少五年相關軟體開發經驗。
- 具備扎實的 C/C++ 程式設計與軟體設計能力。
- 具備敏捷軟體開發經驗者佳。
- 具備 Python 經驗者佳。
- 具備深度學習模型推論訓練、部署或最佳化的正式環境經驗者佳。
- 具備效能建模、分析、除錯及程式碼最佳化經驗,或了解 CPU 與 GPU 架構者佳。
- 具備 CUDA、OAI Triton 或 CUTLASS GPU 程式設計經驗者佳。
- 有參與 PyTorch、vLLM 或 SGLang 等深度學習軟體專案的經驗。
- 具備多 GPU 通訊經驗,包括 NCCL 或 NVSHMEM。
福利待遇
- 完善的福利方案。
- 股權。
