ELYZA-tasks-100 là điểm chuẩn đánh giá khả năng LLM của Nhật Bản thực hiện theo các hướng dẫn phức tạp bằng cách sử dụng 100 nhiệm vụ khác nhau.
ELYZA-tasks-100 là bộ dữ liệu đánh giá LLM của Nhật Bản do ELYZA xuất bản, bao gồm 100 tác vụ phản hồi hướng dẫn ở nhiều thể loại khác nhau như tóm tắt, phân loại, tính toán số và tạo. Không giống như các tiêu chuẩn trắc nghiệm, nó có đặc điểm là áp dụng rộng rãi phương pháp ``LLM-as-a-Judge'', trong đó đầu ra văn bản tự do được tính điểm theo cách thủ công bằng cách sử dụng LLM mạnh mẽ như GPT-4. Mặc dù bảng xếp hạng được coi là tài liệu để lựa chọn các mô hình tương thích với Nhật Bản, nhưng trong hoạt động thực tế kể từ năm 2026, điểm số có thể dao động do sự khác biệt trong mô hình đánh giá và phiên bản prompt, đồng thời, trong lĩnh vực này, người ta nhận thấy rằng việc quyết định một mô hình dựa trên một điểm duy nhất là rất rủi ro. Những cạm bẫy khác bao gồm số lượng trường hợp chỉ có 100, khiến cho các biến thể thống kê dễ xảy ra và vì dữ liệu được cung cấp công khai nên khó có thể phủ nhận việc dữ liệu học tập bị nhiễm bẩn. Nếu bạn tự mình thực hiện đánh giá LLM-với tư cách là Thẩm phán, bạn sẽ phải chịu chi phí gọi API của thẩm phán, do đó, thông lệ tiêu chuẩn trong thực tế là sử dụng nó kết hợp với các tiêu chuẩn khác của Nhật Bản và chọn dựa trên nhiều chỉ số.