Bộ dữ liệu vàng là tập hợp dữ liệu đánh giá với các câu trả lời mô hình được tạo thủ công để đo lường độ chính xác đầu ra của AI.
Tập dữ liệu vàng là tập hợp dữ liệu dành riêng cho việc đánh giá, bao gồm thông tin đầu vào và câu trả lời đúng (kết quả đầu ra dự kiến), đồng thời được sử dụng làm thước đo tiêu chuẩn ngành khi so sánh về mặt số lượng độ chính xác của mô hình, chất lượng phản hồi RAG và tác động của những thay đổi kịp thời. Các cặp câu hỏi và câu trả lời mẫu được tạo thủ công (hoặc do chuyên gia đánh giá) và so sánh với kết quả được tạo ra để tính điểm. Cạm bẫy là “làm được và coi như xong”. Trong hoạt động thực tế, nội dung kinh doanh và thuật ngữ thay đổi sáu tháng đến một năm, vì vậy nếu bỏ qua việc cập nhật thường xuyên, bạn rất dễ bị “mất giá” và tiếp tục nhận được điểm cao không đồng bộ với tình hình thực tế tại hiện trường. Về mặt chi phí, việc xây dựng ban đầu từ 100 đến 300 trường hợp ước tính tốn vài trăm nghìn yên Nhật và độ chính xác liên quan trực tiếp đến chất lượng của việc “bao gồm bao nhiêu trường hợp cạnh” hơn là số lượng trường hợp. Khi chọn mô hình và lời nhắc tại hiện trường, thông lệ tiêu chuẩn là ưu tiên so sánh bằng cách sử dụng bộ dữ liệu vàng được tạo bằng dữ liệu nội bộ thay vì điểm chuẩn cho mục đích chung.