Entropy ngữ nghĩa là một chỉ mục tập hợp nhiều câu trả lời LLM cho cùng một câu hỏi thành các đơn vị ngữ nghĩa và phát hiện khả năng gây ảo giác từ kích thước của biến thể.
Entropy ngữ nghĩa là một thước đo phát hiện ảo giác được công bố trên tạp chí Nature vào năm 2024. Nó lấy mẫu nhiều câu trả lời từ LLM cho cùng một câu hỏi, phân cụm chúng bằng cách sử dụng lý luận ngôn ngữ tự nhiên để xác định xem các câu trả lời có giống với khẳng định về mặt ngữ nghĩa hay không, sau đó tính toán entropy (biến thể) từ sự phân bố của các cụm. Người ta nói rằng cụm càng bị phá vỡ (entropy càng cao) thì càng có nhiều khả năng mô hình đó đang "bịa đặt". Nó được cho là tốt hơn việc kiểm tra tính nhất quán đơn giản vì nó có thể đo lường tính nhất quán về ý nghĩa mà không bị nhầm lẫn bởi những khác biệt bề ngoài trong cách diễn đạt. Mặt khác, trong hoạt động thực tế kể từ năm 2026, sẽ cần 5 đến 10 thế hệ bổ sung + phân loại NLI cho một phản hồi, dẫn đến độ trễ và chi phí cao, đồng thời có những cạm bẫy là khó kết hợp vào phản hồi theo thời gian thực. Trong thực tế, nó thường được sử dụng để kiểm tra chất lượng hàng loạt hoặc làm lan can cho các khu vực có rủi ro cao hơn là áp dụng cho tất cả các yêu cầu và xu hướng phổ biến thường là sử dụng nó cùng với xác nhận của RAG.