Nhiệt độ là tham số kiểm soát phân bố xác suất khi LLM chọn mã thông báo tiếp theo. Càng gần 0 thì đầu ra càng ổn định và nhất quán, giá trị càng cao thì đầu ra càng đa dạng và sáng tạo.
Nhiệt độ là tham số kiểm soát phân bố xác suất khi mô hình ngôn ngữ chọn mã thông báo tiếp theo và thường được đặt trong khoảng từ 0 đến 2. Càng gần 0 thì mã thông báo có xác suất cao nhất sẽ tiếp tục được chọn càng cao và đầu ra sẽ ổn định và nhất quán. Giá trị càng cao thì càng có nhiều mã thông báo có xác suất thấp được chọn, cho phép tạo ra sản phẩm đa dạng và sáng tạo hơn.
Vào năm 2026, nhiệt độ tiêu chuẩn trong lĩnh vực này là 0 đến 0,2 đối với các nhiệm vụ yêu cầu độ chính xác như tạo mã, SQL và tính toán số, 0,5 đến 0,7 đối với trả lời câu hỏi chung và 0,9 đến 1,2 đối với viết sáng tạo và tạo ý tưởng.
Cạm bẫy trong hoạt động thực tế là việc tăng Nhiệt độ quá nhiều sẽ làm tăng ảo giác. Cài đặt Nhiệt độ cao đặc biệt có khả năng gây ra lỗi nghiêm trọng trong hệ thống RAG và trích xuất dữ liệu có cấu trúc. Ngoài ra, nếu bạn điều chỉnh cả top_p (lấy mẫu hạt nhân) cùng lúc, sẽ khó tách biệt các hiệu ứng, vì vậy lý thuyết trong lĩnh vực này là thay đổi và xác minh từng cái một.
Trong các trường hợp được ReviewAI điều tra, trong khi nhiều nhóm tiếp tục sử dụng giá trị mặc định (0,7 đến 1,0 cho nhiều API), cũng có trường hợp chất lượng đầu ra được cải thiện đáng kể chỉ bằng cách tối ưu hóa Nhiệt độ cho từng tác vụ. Về mặt chi phí, bản thân Nhiệt độ không ảnh hưởng trực tiếp đến phí mã thông báo API, nhưng cần lưu ý rằng số lần thử lại tăng do chất lượng đầu ra thấp hơn sẽ đẩy chi phí lên cao.