Aleph Alpha là một công ty nghiên cứu và ứng dụng trí tuệ nhân tạo, phát triển các mô hình quy mô lớn dành cho ngôn ngữ, dữ liệu hình ảnh và khả năng suy luận chiến lược. Có trụ sở tại Heidelberg, Đức, công ty tập trung chuyển hóa các nghiên cứu AI tiên tiến thành những hệ thống vận hành thực tế, đồng thời hỗ trợ chủ quyền số của châu Âu. Công ty phục vụ các nhu cầu sử dụng trong doanh nghiệp và tổ chức thuộc lĩnh vực công nghệ B2B.
Chuyên gia nghiên cứu AI cấp cao, tiền huấn luyện mô hình nền tảng — Aleph Alpha, Heidelberg
Dẫn dắt thiết kế kiến trúc và công việc tiền huấn luyện quy mô lớn cho các mô hình nền tảng châu Âu của Aleph Alpha, định hình phương pháp huấn luyện trên hàng nghìn GPU. Xây dựng và cải tiến quy trình huấn luyện PyTorch cùng đội ngũ kết hợp làm việc tại Heidelberg.
Mô tả
- Phát triển kiến trúc và phương pháp huấn luyện cho thế hệ mô hình nền tảng tiếp theo của Aleph Alpha.
- Dẫn dắt các thành phần cốt lõi của quy trình huấn luyện, bao gồm bộ tối ưu hóa, lịch trình và khởi tạo.
- Tạo cải tiến kiến trúc PyTorch giúp tăng khả năng hội tụ, độ ổn định và hiệu quả huấn luyện.
- Thiết lập các quy luật mở rộng siêu tham số và phương pháp mở rộng quy mô các lượt huấn luyện.
- Chạy các thử nghiệm mô phỏng nhỏ để dự đoán hành vi trên hàng nghìn GPU và giảm rủi ro huấn luyện.
- Chẩn đoán các vấn đề hội tụ, bao gồm đột biến loss và mất hội tụ.
- Khắc phục sự cố huấn luyện phân tán như nút thắt giao tiếp, điều kiện tranh chấp và lỗi đồng bộ hóa.
- Phối hợp với các nhóm Hiệu năng tính toán, Dữ liệu, Đánh giá và Hậu huấn luyện để đồng thiết kế hệ thống và mô hình.
- Chuyển hóa phân tích toán học và bằng chứng thực nghiệm thành các quyết định huấn luyện phù hợp.
- Bàn giao mã đạt chất lượng sản phẩm, giúp cải thiện chất lượng mô hình, độ tin cậy của lượt chạy và hiệu quả.
Yêu cầu
- Thành thạo Python và am hiểu sâu quy trình huấn luyện bằng PyTorch.
- Có thành tích đã được chứng minh trong nghiên cứu học máy và kỹ thuật phần mềm, thể hiện qua mô hình đã triển khai, đóng góp mã nguồn mở có ảnh hưởng hoặc nghiên cứu đã công bố.
- Có nền tảng toán học vững chắc và khả năng lập luận hình thức về tối ưu hóa, hành vi mở rộng quy mô và động lực học huấn luyện.
- Am hiểu sâu động lực học huấn luyện transformer, tối ưu hóa và các lượt huấn luyện phân tán quy mô lớn.
- Có khả năng thiết kế thử nghiệm chặt chẽ và dùng kết quả để định hướng các quyết định huấn luyện đáng tin cậy.
- Có kinh nghiệm thực tế tiền huấn luyện mô hình lớn, chẳng hạn mô hình có từ 7 tỷ tham số trở lên, trên hạ tầng đáng kể, chẳng hạn cụm từ 100 GPU trở lên.
- Áp dụng các phương pháp kỹ thuật phần mềm vững chắc, gồm mã dễ bảo trì, được kiểm thử kỹ và các thử nghiệm có thể tái lập.
- Có khả năng triển khai hiệu quả và đáng tin cậy các kiến trúc phức tạp, đồng thời gỡ lỗi mã mô hình, hành vi huấn luyện và hệ thống phân tán.
- Giao tiếp rõ ràng và phối hợp hiệu quả giữa các nhóm.
- Đủ điều kiện làm việc tại Đức và có thể thường xuyên phối hợp trực tiếp tại Heidelberg.
- Ưu tiên: Có kinh nghiệm huấn luyện LLM hoặc mô hình đa phương thức trên cụm GPU lớn bằng các khung phân tán như Megatron-LM, DeepSpeed hoặc torchtitan.
- Ưu tiên: Am hiểu các quy luật mở rộng quy mô, khả năng chuyển giao siêu tham số hoặc dự báo hành vi huấn luyện quy mô lớn từ các lượt chạy mô phỏng.
- Ưu tiên: Có kinh nghiệm lập hồ sơ hiệu năng các tác vụ phân tán và chẩn đoán bất thường trong huấn luyện.
- Ưu tiên: Từng tiếp xúc với các phương pháp huấn luyện thưa như Mixture-of-Experts.
- Ưu tiên: Có công bố tại các hội nghị hàng đầu, đóng góp mã nguồn mở có ảnh hưởng hoặc sản phẩm kỹ thuật quan trọng đã triển khai.
Phúc lợi
- 30 ngày nghỉ phép hưởng lương mỗi năm.
- Được sử dụng các dịch vụ thể hình và chăm sóc sức khỏe thông qua Wellhub.
- Hỗ trợ sức khỏe tinh thần qua nilo.health.
- Chương trình hưu trí công ty được trợ cấp đáng kể.
- Vé đi lại toàn quốc tại Đức được trợ giá.
- Ngân sách mua thêm thiết bị kỹ thuật.
- Giờ làm việc linh hoạt.
- Hình thức làm việc kết hợp.
- Chương trình thuê xe đạp JobRad®.