adaption phát triển các hệ thống và công cụ AI thích ứng, được thiết kế để điều chỉnh trí tuệ nhân tạo cho từng người dùng, ngôn ngữ, ngành nghề và các trường hợp chuyên biệt. Hoạt động của công ty bao gồm Dữ liệu thích ứng, Trí tuệ thích ứng và Giao diện thích ứng—những phương pháp giúp các mô hình liên tục điều chỉnh và mang đến trải nghiệm người dùng phản hồi nhanh hơn mà không phụ thuộc quá nhiều vào việc viết lời nhắc thủ công hoặc một mô hình đơn nhất quy mô lớn. Công nghệ của công ty phù hợp với các tổ chức đang tìm kiếm những ứng dụng AI thực tiễn trong các lĩnh vực như tư vấn, logistics và tiếp thị.
Kỹ sư suy luận — Adaption (Làm việc kết hợp, Vùng Vịnh)
Tối ưu hóa hạ tầng suy luận để nâng cao thông lượng, giảm chi phí và độ trễ tại Adaption, một công ty AI phát triển các hệ thống trí tuệ thích ứng. Cải thiện hoạt động cung cấp mô hình trên GPU, các công cụ suy luận và khối lượng công việc sản xuất.
Mô tả
- Chịu trách nhiệm chính về chi phí và hiệu năng của toàn bộ ngăn xếp suy luận.
- Tăng thông lượng và giảm chi phí cũng như độ trễ đuôi thông qua quản lý bộ nhớ đệm KV, batching liên tục, giải mã suy đoán và lượng tử hóa.
- Tối ưu hóa các khối lượng công việc prefill và decode với ngữ cảnh dài dựa trên lưu lượng sản xuất thực tế.
- Điều chỉnh định tuyến giữa hạ tầng nội bộ và các nhà cung cấp bên ngoài theo chi phí, năng lực và hiệu năng.
- Sử dụng các công cụ cung cấp mô hình như vLLM, SGLang và TensorRT-LLM, làm việc ở lớp bên dưới framework khi cần thiết.
- Phát triển các hệ thống lập hồ sơ và đo lường để xác định mức sử dụng thời gian, bộ nhớ và năng lực tính toán.
- Phối hợp chặt chẽ với các kỹ sư phụ trách đội máy chủ cung cấp mô hình.
Yêu cầu
- Có ít nhất năm năm kinh nghiệm trong hệ thống ML, hạ tầng suy luận hoặc kỹ thuật hiệu năng, với những cải thiện có thể đo lường về chi phí hoặc độ trễ.
- Có kiến thức chuyên sâu về cung cấp mô hình, bao gồm prefill và decode, băng thông bộ nhớ, batching và tính đồng thời.
- Có kinh nghiệm sản xuất với các công cụ cung cấp mô hình như vLLM, SGLang hoặc TensorRT-LLM.
- Sử dụng Python thành thạo và thành thạo C++, Rust hoặc một ngôn ngữ lập trình hệ thống khác.
- Hiểu các chủ đề về hiệu năng GPU, bao gồm CUDA, NCCL, độ chính xác hỗn hợp, bố cục bộ nhớ, kernel hoặc lượng tử hóa.
- Có khả năng làm việc trực tiếp tại Vùng Vịnh theo hình thức kết hợp.
Phúc lợi
- Kết hợp việc cộng tác trực tiếp tại Vùng Vịnh với một đội ngũ phân tán, ưu tiên toàn cầu và các chuyến đi gặp mặt đội nhóm.
- Nhận khoản hỗ trợ du lịch Adaption Passport hằng năm để khám phá một quốc gia bạn chưa từng đến.
- Nhận khoản hỗ trợ hằng tuần cho các bữa ăn mang đi hoặc dịch vụ giao hàng tạp hóa.
- Được hưởng bảo hiểm y tế toàn diện và thời gian nghỉ có lương hào phóng.