JQaRA là tập dữ liệu chuẩn được xuất bản để đo lường độ chính xác tìm kiếm của hệ thống RAG Nhật Bản.
JQaRA là một điểm chuẩn được công bố để đánh giá thành phần tìm kiếm của hệ thống RAG của Nhật Bản và đo lường mức độ chính xác có thể tìm kiếm các tài liệu liên quan cho một câu hỏi bằng cách sử dụng các chỉ báo như nDCG. Nó được cho là được tham chiếu trong cộng đồng phát triển RAG trong nước như một chỉ số để so sánh hiệu suất tìm kiếm tiếng Nhật của các mô hình nhúng và trình xếp hạng lại bằng cách sử dụng các cặp tài liệu câu hỏi/chính xác từ tập đoàn Nhật Bản như Wikipedia. Trong hoạt động thực tế kể từ năm 2026, ngay cả các mô hình nhúng có điểm chuẩn tiếng Anh cao cũng được cho là có độ chính xác chậm khi sử dụng bằng tiếng Nhật, vì vậy việc xác minh trước bằng các chỉ báo dành riêng cho tiếng Nhật như JQaRA sẽ rất quan trọng trong lĩnh vực này. Ngoài ra, càng có nhiều mô hình ứng cử viên thì chi phí tính toán để đánh giá càng cao, do đó, việc thu hẹp xuống một vài mô hình rồi đánh giá chúng đã trở thành thông lệ. Khi lựa chọn, không chỉ cần nhìn vào điểm số mà còn phải xem xét sự cân bằng giữa độ trễ và chi phí.