Baseten
Baseten
Baseten cung cấp hạ tầng suy luận mô hình cho các công ty triển khai ứng dụng học máy và AI. Nền tảng của công ty được xây dựng để phục vụ mô hình nhanh chóng và có khả năng mở rộng, kết hợp suy luận thông lượng cao, triển khai nhanh, tự động mở rộng, phục vụ mô hình doanh nghiệp an toàn và hỗ trợ đóng gói mô hình nguồn mở. Baseten giúp các đội ngũ kỹ thuật và học máy quản lý những yêu cầu vận hành của hạ tầng mô hình để họ có thể tập trung phát triển các mô hình chuyên biệt theo lĩnh vực. Công ty hoạt động trong các lĩnh vực trí tuệ nhân tạo, SaaS và công nghệ doanh nghiệp, với đội ngũ từ 11–50 nhân viên.

Kỹ sư phần mềm, Nền tảng suy luận LLM - Baseten Hybrid

Xây dựng nền tảng suy luận LLM phân tán của Baseten dành cho các công ty AI. Làm việc với điều phối Kubernetes, API mô hình, định tuyến, tự động mở rộng và khả năng quan sát trong môi trường sản xuất.

Mô tả

  • Xây dựng hạ tầng và hệ thống điều phối cho hoạt động suy luận LLM phân tán quy mô lớn, bao gồm định tuyến, tự động mở rộng, lập lịch và quản lý thời gian chạy.
  • Phát triển và vận hành các Model API hỗ trợ đầu ra có cấu trúc, gọi công cụ và hàm, cũng như phục vụ đa phương thức.
  • Triển khai quản lý phiên bản API, xác thực yêu cầu, đo lường mức sử dụng, hạn ngạch và xác thực danh tính.
  • Tạo hệ thống đo lường cho chỉ số, dấu vết và nhật ký, cùng các quy trình đánh giá có thể lặp lại về tốc độ, độ tin cậy và chất lượng.
  • Xây dựng các quy trình vững chắc cho kiểm thử, tự động hóa phát hành và vận hành xuất sắc.
  • Chẩn đoán và củng cố các hệ thống sản xuất trên Kubernetes, môi trường chạy phân tán, mạng và khối lượng công việc GPU.
  • Phối hợp với các kỹ sư Hiệu năng suy luận và các nhóm đối tác để triển khai những tối ưu hóa hướng đến khách hàng.
  • Dẫn dắt dự án từ kiến trúc và triển khai đến giám sát, sau đó cải tiến dựa trên phản hồi của khách hàng.
  • Cân bằng hiệu năng hệ thống, độ tin cậy, sự đơn giản trong vận hành và trải nghiệm nhà phát triển.

Yêu cầu

  • Bằng cử nhân, thạc sĩ hoặc tiến sĩ ngành khoa học máy tính, kỹ thuật hoặc lĩnh vực liên quan, hoặc kinh nghiệm thực tiễn tương đương.
  • Ít nhất ba năm kinh nghiệm xây dựng và vận hành hệ thống phân tán, hạ tầng backend hoặc API quy mô lớn, trong đó độ tin cậy, độ trễ và khả năng mở rộng đóng vai trò then chốt.
  • Có kinh nghiệm làm chủ các dịch vụ backend có độ trễ thấp và đáng tin cậy, bao gồm giới hạn tốc độ, xác thực danh tính, hạn ngạch, đo lường mức sử dụng và di chuyển hệ thống.
  • Có tư duy tốt về hạ tầng, bao gồm kinh nghiệm lập hồ sơ hiệu năng, truy dấu, hoạch định năng lực và quản lý SLO.
  • Có khả năng chẩn đoán các vấn đề về hiệu năng và độ tin cậy trên các lớp ứng dụng, môi trường chạy và hạ tầng.
  • Tập trung mạnh vào trải nghiệm nhà phát triển.
  • Sẵn sàng học các ngôn ngữ, framework và hệ thống mới, đồng thời quan tâm đến kỹ thuật suy luận.
  • Kỹ năng viết và cộng tác xuất sắc, bao gồm khả năng viết tài liệu thiết kế rõ ràng và làm việc hiệu quả giữa các chức năng.
  • Có kinh nghiệm với hoặc từng đóng góp cho các engine hoặc framework suy luận LLM như vLLM, SGLang, TensorRT-LLM, TGI hoặc Dynamo là một lợi thế.
  • Kinh nghiệm chuyên sâu với Kubernetes, bao gồm operator và custom resource; quen thuộc với service mesh hoặc API gateway là một lợi thế.
  • Có kinh nghiệm về lập lịch phân tán, tự động mở rộng hoặc điều phối dịch vụ là một lợi thế.
  • Có kinh nghiệm vận hành khối lượng công việc GPU trong môi trường sản xuất là một lợi thế.
  • Có nền tảng về hạ tầng hoặc API hướng đến nhà phát triển, hoặc từng đóng góp cho hạ tầng mã nguồn mở hay hệ thống máy học, là một lợi thế.
  • Quen thuộc với các công cụ quan sát hệ thống, hệ thống CI/CD hoặc tự động hóa phát hành là một lợi thế.

Phúc lợi

  • Mức đãi ngộ cạnh tranh cùng quyền lợi vốn đáng kể.
  • Đối với nhân viên và người phụ thuộc tại Hoa Kỳ, được chi trả toàn bộ bảo hiểm y tế, nha khoa và thị lực.
  • Thời gian nghỉ có lương linh hoạt, bao gồm kỳ nghỉ đông áp dụng cho toàn công ty.
  • Nghỉ phép có lương dành cho cha mẹ.
  • Hỗ trợ điều trị hiếm muộn và xây dựng gia đình thông qua khoản trợ cấp Carrot.
  • Đối với nhân viên tại Hoa Kỳ, có chương trình 401(k) do công ty hỗ trợ tổ chức.
  • Có cơ hội tiếp xúc với nhiều công ty khởi nghiệp về học máy, mở ra nhiều cơ hội học hỏi và xây dựng mạng lưới nghề nghiệp.

Việc làm liên quan

Minor Hotels Europe and Americas

Chuyên viên Thương mại điện tử từ xa, Đức

Minor Hotels Europe and Americas

Triển khai các hoạt động thương mại điện tử cho Vuse và Glo tại các thị trường Đức, tập trung cải thiện UX/UI, dự báo và phối hợp với đối tác. Theo dõi hiệu quả chiến dịch và chia sẻ thông tin chuyên sâu để hỗ trợ kế hoạch sắp tới và mục tiêu năm tài chính.

Mở
Joma Jewellery & Katie Loxton

Quản lý Thương mại Điện tử Cấp cao

Joma Jewellery & Katie Loxton
51 – 200 Nhân viên
Bán lẻThời trang

Dẫn dắt hiệu quả bán hàng trực tuyến và lịch hoạt động thương mại của Joma Jewellery. Sử dụng dữ liệu thương mại để cải thiện hành trình khách hàng, chiến dịch và đợt ra mắt sản phẩm.

Mở
LAKE SUPERIOR CONSULTING

Kỹ thuật viên hiện trường về bảo vệ catốt

LAKE SUPERIOR CONSULTING
201 – 500 Nhân viên
Hậu cầnKỹ thuậtXây dựng

Lắp đặt, kiểm tra, khắc phục sự cố và sửa chữa các hệ thống bảo vệ catốt cho Lake Superior Consulting. Vị trí đầu vào này làm việc ngoài hiện trường, thường xuyên đi công tác khắp Hoa Kỳ và làm việc ngoài trời, tuân thủ các yêu cầu an toàn và quy định hiện hành.

Mở
decircle

Kỹ sư AI triển khai cho doanh nghiệp

decircle

Triển khai nền tảng AI tạo sinh mã nguồn mở của Fireworks AI cho khách hàng doanh nghiệp. Xây dựng tích hợp cho môi trường thực tế, tư vấn chiến lược mô hình và hỗ trợ bán hàng kỹ thuật từ khâu tìm hiểu nhu cầu đến triển khai.

Mở
Invenergy

Kỹ thuật viên dịch vụ hiện trường, đi công tác 100%

Invenergy

Thực hiện thay thế các bộ phận chính và sửa chữa trong toàn bộ đội thiết bị năng lượng tái tạo và hạ tầng điện của Invenergy. Làm việc theo các đợt luân phiên đi công tác bốn tuần để xử lý sự cố thiết bị, đào tạo đội ngũ tại cơ sở và duy trì các tiêu chuẩn an toàn.

Mở
Applied Materials

Kỹ sư ứng dụng hiện trường, sinh viên mới tốt nghiệp

Applied Materials

Tại Applied Materials, hỗ trợ ứng dụng thiết bị bán dẫn bằng AI, học máy và khoa học dữ liệu để chẩn đoán vấn đề của khách hàng. Phát triển và đánh giá công thức cùng công nghệ, thực hiện thử nghiệm và trình diễn, phối hợp với các nhóm làm việc trực tiếp với khách hàng và nhóm sản phẩm.

Mở
Pitney Bowes

Kỹ thuật viên dịch vụ hiện trường, Pitney Bowes — Michigan

Pitney Bowes

Lắp đặt và sửa chữa công nghệ vận chuyển và gửi thư của Pitney Bowes trong khu vực Michigan. Công việc đòi hỏi di chuyển nhiều, xử lý sự cố thiết bị và hướng dẫn khách hàng.

Mở
L3Harris Technologies

Kỹ sư hiện trường cấp cao, VAMPIRE cUAS — Nashville, Tennessee

L3Harris Technologies

Hỗ trợ các hệ thống phòng thủ chống máy bay không người lái của L3Harris qua việc lắp đặt, kiểm thử và khắc phục sự cố. Đào tạo người dùng vận hành và bảo trì các hệ thống mạng tích hợp.

Mở
Invenergy

Kỹ thuật viên dịch vụ hiện trường Invenergy, đi công tác 100%

Invenergy

Sửa chữa và thay thế các bộ phận lớn trong đội thiết bị năng lượng tái tạo của Invenergy, đồng thời đào tạo đội ngũ tại địa điểm về bảo trì và an toàn. Công việc yêu cầu luân phiên đi xa nhà bốn tuần rồi về nhà một tuần, xử lý sự cố ở các hệ thống cơ khí, điện và thủy lực.

Mở
GE Vernova

Thực tập sinh kỹ sư hiện trường từ xa tại GE Vernova

GE Vernova

Tích lũy kinh nghiệm thực tế với các sản phẩm tua-bin và máy phát điện của FieldCore, đồng thời hỗ trợ các dự án kỹ thuật, lập kế hoạch đại tu, công việc tại hiện trường, hậu cần và hoạt động kỹ thuật.

Mở