Mã thông báo suy luận là mã thông báo được sử dụng trong quá trình suy nghĩ (chuỗi sắp xếp) mà mô hình ngôn ngữ quy mô lớn tập hợp nội bộ trước khi đưa ra câu trả lời cuối cùng và được tính phí dưới dạng mã thông báo đầu ra.
Mã thông báo suy luận đề cập đến mã thông báo được sử dụng trong quá trình suy nghĩ mà chuỗi o của OpenAI, tư duy mở rộng của Claude, mô hình tư duy của Gemini, v.v. tập hợp nội bộ trước khi tạo ra câu trả lời cuối cùng. Trong nhiều trường hợp, chỉ có bản tóm tắt được hiển thị trên màn hình người dùng và quá trình suy nghĩ chi tiết không được hiển thị, nhưng vì nó được coi là mã thông báo đầu ra cho mục đích thanh toán nên nhược điểm trong hoạt động thực tế là chi phí hội thoại có xu hướng cao hơn dự kiến. Kể từ năm 2026, mỗi công ty sẽ có thể điều chỉnh độ sâu suy luận bằng cách sử dụng các tham số như lý trí_nỗ lực và ngân sách tư duy, đồng thời người ta nói rằng trong lĩnh vực này, cài đặt này đang được thu hẹp tùy thuộc vào độ khó của nhiệm vụ nhằm đạt được sự cân bằng giữa chi phí và độ chính xác. Khi chọn mô hình và cài đặt, điều quan trọng cần lưu ý là việc gán cường độ suy luận cao cho các tác vụ đơn giản có xu hướng tăng chi phí và hạn chế cải thiện chất lượng phản hồi.