Cohen's Kappa là một chỉ số thống kê được tính bằng cách trừ đi mức độ trùng hợp do ngẫu nhiên từ mức độ phù hợp giữa các phán đoán nhãn của hai người xếp hạng hoặc mô hình.
Cohen's Kappa là một chỉ số thống kê được tính bằng cách trừ đi sự trùng hợp ngẫu nhiên khỏi mức độ phù hợp giữa các đánh giá về nhãn của hai người đánh giá (hoặc người mẫu và con người). Các giá trị nằm trong khoảng từ -1 đến 1, với các giá trị từ 0,6 trở lên biểu thị "sự trùng khớp đáng kể" và 0,8 trở lên biểu thị "sự trùng khớp gần như hoàn hảo". Chỉ riêng độ chính xác đơn giản đã có vấn đề đánh giá quá cao dữ liệu mất cân bằng lớp có khả năng trùng khớp ngẫu nhiên và sự khác biệt so với độ chính xác đơn giản là điều này đã được sửa chữa. Trong hoạt động thực tế kể từ năm 2026, nó thường sẽ được sử dụng để xác minh mức độ thỏa thuận giữa những người chú thích thông qua việc gắn nhãn thủ công cho chất lượng đầu ra LLM và để kiểm tra xem các tiêu chí kiểm duyệt nội dung hoặc phát hiện sản phẩm AI có bị sai lệch hay không. Những cạm bẫy thường xảy ra trong lĩnh vực này là nếu có nhiều hơn hai người đánh giá thì không thể sử dụng nguyên trạng và cần phải chuyển sang chỉ mục dẫn xuất như Fleiss' Kappa và dữ liệu có các lớp cực kỳ sai lệch có thể sẽ thấp và bị hiểu sai. Về mặt chi phí, phải mất rất nhiều giờ công để điều chỉnh các tiêu chuẩn và đo lường lại định kỳ, và người ta nói rằng ngay cả trong các dự án quy mô nhỏ, việc xác minh lại thường được thực hiện tại chỗ hàng tháng.