Độ trung thực là thước đo đo lường độ chính xác của văn bản do AI tạo sinh dựa trên tài liệu nguồn và ngữ cảnh được cung cấp.
Độ trung thực là thước đo đóng vai trò trung tâm trong việc đánh giá các hệ thống tạo và tăng cường tìm kiếm (RAG), định lượng xem mỗi yêu cầu trong câu trả lời do mô hình tạo có thể được bắt nguồn từ tài liệu nguồn được cung cấp hay không. Điểm nằm trong khoảng từ 0 đến 1, càng gần 1 thì văn bản được tạo ra càng trung thực với ngữ cảnh. Các khung đánh giá như RAGAS tự động tính điểm bằng cách khớp từng câu trong câu được tạo với ngữ cảnh của nó.
Một cạm bẫy trong hoạt động thực tế tính đến năm 2026 là ngay cả khi điểm trung thực cao thì "độ mới của thông tin" và "tính đầy đủ của câu trả lời" phải được đánh giá thành các chỉ số riêng biệt. Nếu ngữ cảnh bao gồm một tài liệu cũ thì có nguy cơ trả về một câu trả lời không chính xác về mặt thực tế ngay cả khi độ trung thực cao. Trong thực tế, có nhiều trường hợp độ trung thực từ 0,8 trở lên được đặt làm đường chuyền.
Về mặt chi phí, nếu bạn kết hợp giám sát tự động bằng công cụ đánh giá như Trọng lượng & Xu hướng, việc đánh giá liên tục có thể được thực hiện với chi phí thấp hơn 1/10 chi phí đánh giá thủ công (vài chục đến hàng trăm yên Nhật cho mỗi hạng mục). Đối với các trường hợp sử dụng trong đó ảo giác là rất quan trọng, chẳng hạn như Câu hỏi thường gặp nội bộ hoặc chatbot pháp lý/y tế, nhóm biên tập ReviewAI khuyên bạn nên kết hợp độ trung thực vào quy trình làm chỉ báo ưu tiên. Việc hiệu chỉnh độ lệch của LLM với tư cách là Thẩm phán đã trở thành thông lệ tiêu chuẩn trong lĩnh vực này thông qua việc đánh giá thủ công thường xuyên kết hợp với nền tảng ghi nhãn dữ liệu như Labelbox.