Baseten cung cấp hạ tầng suy luận mô hình cho các công ty triển khai ứng dụng học máy và AI. Nền tảng của công ty được xây dựng để phục vụ mô hình nhanh chóng và có khả năng mở rộng, kết hợp suy luận thông lượng cao, triển khai nhanh, tự động mở rộng, phục vụ mô hình doanh nghiệp an toàn và hỗ trợ đóng gói mô hình nguồn mở. Baseten giúp các đội ngũ kỹ thuật và học máy quản lý những yêu cầu vận hành của hạ tầng mô hình để họ có thể tập trung phát triển các mô hình chuyên biệt theo lĩnh vực. Công ty hoạt động trong các lĩnh vực trí tuệ nhân tạo, SaaS và công nghệ doanh nghiệp, với đội ngũ từ 11–50 nhân viên.
Kỹ sư phần mềm hiệu năng suy luận tại Baseten (Làm việc kết hợp)
Baseten đang tuyển kỹ sư hiệu năng suy luận để tối ưu hóa runtime LLM, kernel GPU và hệ thống phục vụ mô hình. Vai trò này tập trung cải thiện tốc độ suy luận trong môi trường production, mức sử dụng phần cứng và hiệu quả chi phí.
Mô tả
- Đưa các phương pháp suy luận tiên tiến như lượng tử hóa, giải mã suy đoán, tái sử dụng bộ nhớ đệm KV, prefill phân đoạn, LoRA, sinh có hướng dẫn và lập lịch hoặc định tuyến tùy chỉnh vào môi trường production.
- Phân tích toàn bộ pipeline suy luận, tối ưu chi phí kernel, bố trí bộ nhớ, lập lịch yêu cầu, tách prefill và decode, cũng như định tuyến dựa trên cache.
- Tăng số token trên mỗi GPU-giờ và mức sử dụng GPU, đồng thời cân bằng độ trễ, thông lượng và chi phí.
- Triển khai và tối ưu các kiến trúc mô hình mới trên những nền tảng phần cứng mới.
- Tạo các benchmark bao quát nhiều loại mô hình, kích thước batch, độ dài chuỗi và cấu hình phần cứng.
- Đóng góp các cải tiến cho những dự án suy luận mã nguồn mở như vLLM, SGLang và TensorRT-LLM.
- Phối hợp với các nhóm mô hình, hạ tầng và khách hàng để mang lại những cải thiện hiệu năng có thể đo lường.
Yêu cầu
- Tốt nghiệp cử nhân, thạc sĩ hoặc tiến sĩ ngành khoa học máy tính, kỹ thuật, toán học hoặc lĩnh vực liên quan.
- Có kinh nghiệm chuyên môn với ít nhất một ngôn ngữ lập trình đa dụng, bao gồm Python hoặc C++.
- Có kiến thức thực tế về các phương pháp tối ưu LLM như lượng tử hóa, giải mã suy đoán và batching liên tục.
- Nắm vững các thư viện machine learning, đặc biệt là PyTorch, TensorRT hoặc TensorRT-LLM.
- Thể hiện sự quan tâm và có kinh nghiệm thực tế với các mô hình ngôn ngữ lớn.
- Hiểu sâu về kiến trúc GPU.
Phúc lợi
- Gói thu nhập cạnh tranh kèm cơ hội tham gia sở hữu cổ phần đáng kể.
- Đối với nhân viên tại Hoa Kỳ, bảo hiểm y tế, nha khoa và thị lực toàn diện dành cho nhân viên cùng người phụ thuộc.
- Thời gian nghỉ có lương linh hoạt, cùng kỳ nghỉ đông áp dụng trên toàn công ty.
- Nghỉ phép có lương dành cho cha mẹ.
- Hỗ trợ điều trị sinh sản và xây dựng gia đình thông qua khoản trợ cấp Carrot.
- Đối với nhân viên tại Hoa Kỳ, chương trình 401(k) do công ty hỗ trợ.
- Cơ hội làm việc với nhiều startup machine learning, mở rộng đáng kể việc học hỏi và kết nối nghề nghiệp.