Ma trận nhầm lẫn là một chỉ số đánh giá so sánh kết quả dự đoán của mô hình phân loại với các nhãn chính xác thực tế và sắp xếp số lượng kết quả dương tính thật, dương tính giả, âm tính thật và âm tính giả theo định dạng bảng.
Ma trận nhầm lẫn là một phương pháp đánh giá so sánh các nhãn được dự đoán của mô hình phân loại với các nhãn chính xác thực tế ở dạng ma trận và trực quan hóa số lượng kết quả dương tính thật (TP), dương tính giả (FP), âm tính thật (TN) và âm tính giả (FN). Nó làm cơ sở để tính toán độ chính xác, thu hồi và điểm F1, đồng thời được đặc trưng bởi khả năng nắm bắt sự thiên vị giữa các lớp không thể nhìn thấy được bằng một tỷ lệ chính xác duy nhất. Trong hoạt động thực tế kể từ năm 2026, nó đã được áp dụng để xác minh tính chính xác của các nhiệm vụ phân loại và phán đoán (phát hiện thư rác, kiểm duyệt nội dung, phát hiện bất thường, v.v.) bằng cách sử dụng AI tổng hợp và được cho là đã được thiết lập trong lĩnh vực đánh giá các bộ phân loại dựa trên LLM. Một điều đáng tiếc là ngay cả khi điểm có vẻ cao khi chỉ nhìn vào tỷ lệ câu trả lời đúng với dữ liệu không cân bằng giữa các lớp, kết quả âm tính sai từ các lớp thiểu số vẫn bị ẩn đi. Khi lựa chọn một mô hình trong hiện trường, người ta nói rằng cần phải quyết định cho từng trường hợp sử dụng xem ưu tiên thu hồi hay độ chính xác (nhấn mạnh vào các trường hợp bị bỏ sót hoặc dương tính giả). Trong các hoạt động đánh giá liên tục, việc duy trì dữ liệu thử nghiệm được dán nhãn và tần suất đánh giá lại là vấn đề tốn kém và người ta thường nói rằng việc xác minh lại hàng tháng là phổ biến ngay cả đối với các nhóm nhỏ.