JGLUE là một nhóm các bộ dữ liệu chuẩn được phát triển bởi Đại học Tokyo, Đại học Waseda và Yahoo để đo lường khả năng hiểu ngôn ngữ của các mô hình xử lý ngôn ngữ tự nhiên của Nhật Bản.
JGLUE là phiên bản tiếng Nhật của điểm chuẩn GLUE bao gồm nhiều nhiệm vụ như phân loại văn bản, đánh giá sự giống nhau và QA. Đây là một ứng dụng của khung GLUE/SuperGLUE, đã được tiêu chuẩn hóa ở các quốc gia nói tiếng Anh sang tiếng Nhật và được coi là một trong những điểm chuẩn tham chiếu tiêu chuẩn thực tế cho các đánh giá LLM trong nước của Nhật Bản. Người ta đã chỉ ra rằng thật nguy hiểm khi đánh giá tính phù hợp của một mô hình để sử dụng thực tế chỉ bằng điểm JGLUE của nó và ngay cả khi một mô hình đạt được điểm cao trong điểm chuẩn, vẫn có những trường hợp độ chính xác của nó chậm chạp trong các nhiệm vụ thực tế liên quan đến tài liệu kinh doanh tại chỗ, cách diễn đạt thông tục và thuật ngữ kỹ thuật. Kể từ năm 2026, ngoài JGLUE, sự kết hợp giữa các điểm chuẩn bổ sung dành riêng cho Nhật Bản và bộ đánh giá dành riêng cho từng miền sẽ được áp dụng rộng rãi. Khi đánh giá lại một mô hình nội bộ, không thể bỏ qua chi phí suy luận và chi phí lệnh gọi API để đánh giá, do đó, trong thực tế, việc tiến hành theo hai giai đoạn được coi là hợp lý: đầu tiên thu hẹp ứng viên bằng cách sử dụng điểm JGLUE có sẵn công khai và sau đó đưa ra lựa chọn cuối cùng bằng cách sử dụng bộ kiểm tra gần với hoạt động thực tế.