Ô nhiễm điểm chuẩn là hiện tượng dữ liệu đánh giá bài kiểm tra bị trộn lẫn vào dữ liệu huấn luyện của mô hình AI, khiến điểm hiệu năng có vẻ cao hơn khả năng thực tế.
Ô nhiễm điểm chuẩn đã trở thành một vấn đề nghiêm trọng trong việc đánh giá LLM và các mô hình học máy. Nếu dữ liệu đào tạo trước của mô hình bao gồm các bộ đánh giá công khai như MMLU hoặc HumanEval, mô hình sẽ "ghi nhớ" nội dung câu hỏi và câu trả lời đúng, ghi điểm vượt quá khả năng suy luận thực tế của nó. Kể từ năm 2026, sự mất lòng tin vào bảng xếp hạng của các LLM lớn đang lan rộng khắp ngành và trong lĩnh vực này, trục ra quyết định “đo lường dựa trên các trường hợp sử dụng nội bộ thay vì các điểm chuẩn công khai” đang được thiết lập. Cạm bẫy lớn nhất trong hoạt động thực tế là khi một mẫu xe được lựa chọn dựa trên điểm số công khai của nó và hiệu suất giảm đáng kể sau khi sản xuất. Đây là lý do tại sao ReviewAI nhấn mạnh vào đánh giá của người dùng và đánh giá độc lập hơn là điểm chính thức của từng công cụ. Một biện pháp đối phó hiệu quả là xây dựng bộ đánh giá nội bộ riêng và tiến hành giám sát liên tục, nhưng chi phí ban đầu để chuẩn bị bộ đánh giá có thể lên tới vài trăm nghìn yên Nhật.