GSM8K là chuẩn mực đo lường khả năng suy luận nhiều bước của các mô hình ngôn ngữ quy mô lớn, bao gồm 8.500 bài toán đố cấp tiểu học.
GSM8K là bộ dữ liệu bài toán số học do OpenAI phát hành vào năm 2021, bao gồm 8.500 câu hỏi (7.500 câu hỏi để đào tạo và 1.000 câu hỏi để kiểm tra), yêu cầu bốn phép tính số học và lý luận nhiều bước ở cấp trung học phổ thông. Nó được sử dụng rộng rãi như một chỉ số để đo lường khả năng suy luận toán học cơ bản của LLM và thường xuyên xuất hiện trong danh sách điểm chuẩn khi các mô hình được công bố. Tuy nhiên, trong hoạt động thực tế kể từ năm 2026, ngay cả khi chỉ riêng GSM8K có điểm cao, sẽ có trường hợp độ chính xác sẽ giảm khi tính toán với số lượng lớn chữ số hoặc xử lý số thực tế kéo dài nhiều bước (chẳng hạn như phân bổ ước tính và phân bổ lại hàng tồn kho), đồng thời dấy lên lo ngại về việc trang bị quá mức đã được tối ưu hóa cho điểm chuẩn. Khi lựa chọn một mô hình tại hiện trường, việc sử dụng băng ghế suy luận khó hơn kết hợp với băng ghế suy luận khó hơn và xác minh nó bằng các lời nhắc gần với dữ liệu kinh doanh thực tế là thực tế, thay vì đưa ra quyết định chỉ dựa trên điểm GSM8K. Việc định vị nó là một trong những chỉ báo tham khảo để kiểm tra sự cân bằng giữa chi phí và độ chính xác của API là phù hợp.