Dự đoán nhiều mã thông báo là một phương pháp giúp tăng hiệu quả học tập và tốc độ tạo LLM bằng cách dự đoán không chỉ mã thông báo tiếp theo mà còn cả một số mã thông báo phía trước cùng một lúc.
Dự đoán nhiều mã thông báo là một phương pháp trong đó một mô hình được đào tạo để dự đoán không chỉ mã thông báo tiếp theo mà còn nhiều mã thông báo trong tương lai cùng một lúc và được cho là cải thiện sự hiểu biết ngữ cảnh và hiệu quả tính toán so với dự đoán mã thông báo tiếp theo đơn giản. Đã biết cấu hình trong đó nhiều đầu dự đoán được thêm song song trong quá trình học và cũng được sử dụng kết hợp với giải mã suy đoán để tăng tốc độ tạo trong quá trình suy luận. Trong hoạt động thực tế vào năm 2026, việc bổ sung đầu dự đoán đồng thời nhiều mã thông báo sẽ làm tăng chi phí học tập và mức tiêu thụ VRAM, do đó, việc giới thiệu nó như một giải pháp thay thế cho mô hình quy mô lớn hiện có không phải là trở ngại thấp. Có một số trường hợp mà lợi ích của phương pháp này có thể được trải nghiệm trực tiếp tại hiện trường và nhiều người dùng chỉ xem đó là sự tối ưu hóa từ phía nhà cung cấp API, chẳng hạn như ``phản hồi nhanh'' hoặc ``độ chính xác cao với cùng một mức giá.'' Khi so sánh các công cụ và API, số lượng dịch vụ ngày càng tăng cho thấy khả năng tương thích của chúng, nhưng sự khác biệt về trải nghiệm phụ thuộc vào ứng dụng và thiết kế nhanh chóng, vì vậy tốt nhất là so sánh các giá trị thực tế của tốc độ và chi phí.