Tỷ lệ ảo giác là một chỉ số đánh giá định lượng tốc độ AI tạo sinh thông tin khác với thực tế. Là chỉ số cơ bản để đo lường độ tin cậy của mô hình, nó luôn được kiểm tra trong giai đoạn xác minh trước khi triển khai sản xuất.
Tỷ lệ ảo giác là chỉ số đánh giá cho biết tỷ lệ phần trăm câu trả lời do LLM đưa ra bao gồm thông tin trái ngược với sự thật, trích dẫn không tồn tại, danh từ riêng hư cấu, v.v. Nói chung, nó được tính bằng "tỷ lệ số lượng câu trả lời được xác định là 'ảo giác' bởi con người hoặc LLM tham chiếu trên tổng số câu trả lời trong bộ kiểm tra."
Trong vận hành thực tế vào năm 2026, sẽ có nhiều trường hợp giá trị bằng số đơn giản của tỷ lệ ảo giác sẽ không đủ để đưa ra phán đoán tại chỗ. Có ba cạm bẫy chính. ① Chi phí đo lường: Đánh giá thủ công có độ chính xác cao, nhưng mỗi lần đánh giá tốn hàng chục đến hàng trăm yên Nhật và điểm chuẩn quy mô lớn có giá hàng trăm nghìn yên Nhật. ② Độ chi tiết của phép đo: Giá trị thị trường thay đổi rất nhiều tùy thuộc vào việc đó là toàn bộ tài liệu, chỉ danh từ riêng hay chỉ giá trị số. ③Sự phụ thuộc vào nhiệm vụ: Ngưỡng tỷ lệ ảo giác chấp nhận được là hoàn toàn khác nhau đối với việc hỗ trợ khách hàng và chẩn đoán y tế.
Một xu hướng mà ReviewAI đã khẳng định qua đánh giá công cụ tại chỗ là trong nhiều trường hợp, việc kết hợp RAG có thể làm giảm tỷ lệ ảo giác từ 60-80%, nhưng mặt khác, một nghịch lý xảy ra là những RAG có độ chính xác tìm kiếm thấp lại thực sự làm tăng ảo giác. Giám sát liên tục bằng các công cụ MLOps như Weights & Biases là phương pháp quản lý tiêu chuẩn kể từ năm 2026. Có nhiều trường hợp tỷ lệ ảo giác tăng lên sau khi tinh chỉnh và việc kiểm tra hồi quy trước đó là điều cần thiết.