Giải mã suy đoán là phương pháp tăng tốc LLM giúp tăng tốc độ suy luận từ 2 đến 4 lần bằng cách yêu cầu một mô hình lớn xác minh chuỗi mã thông báo được đọc trước bởi một mô hình dự thảo nhỏ song song.
Một phương pháp tăng tốc suy luận trong đó mô hình dự thảo (nhỏ, tốc độ cao) đọc trước N mã thông báo và mô hình yêu thích (lớn, độ chính xác cao) được xác minh song song trong một lần truyền. Mã thông báo phù hợp được chấp nhận nguyên trạng và mã thông báo không khớp sẽ bị loại bỏ và được tạo lại, giúp cải thiện thông lượng từ 2 đến 4 lần trong khi vẫn duy trì chất lượng đầu ra. Kể từ năm 2026, vLLM, HuggingFace TGI và TensorRT-LLM được hỗ trợ theo mặc định, giúp giảm đáng kể các rào cản khi triển khai trong hoạt động thực tế. Một cạm bẫy điển hình trong lĩnh vực này là chọn mô hình dự thảo không chính xác và nếu mô hình yêu thích và mã thông báo không khớp, tỷ lệ chấp nhận sẽ giảm và có nhiều trường hợp tốc độ trở nên chậm hơn. Về mặt giá trị thị trường, nó có thể giảm thông lượng từ 1,5 đến 3 lần và chi phí API đám mây từ 30 đến 50% với cùng chất lượng, nhưng xin lưu ý rằng lợi ích rất yếu trong môi trường GPU nơi băng thông bộ nhớ là điểm nghẽn. Xu hướng năm 2026 do ReviewAI theo dõi cho thấy nhiều công ty khởi nghiệp tổ chức LLM của riêng họ đang xem xét và triển khai nó như bước đầu tiên để tối ưu hóa chi phí.