LegalBench là một chuẩn mực mở nhằm đo lường khả năng suy luận pháp lý của các mô hình ngôn ngữ quy mô lớn, bao gồm 162 loại nhiệm vụ lý luận pháp lý như giải thích hợp đồng và áp dụng quy tắc.
LegalBench là một chuẩn mực mở nhằm đo lường khả năng suy luận pháp lý của các mô hình ngôn ngữ quy mô lớn, do các nhà nghiên cứu và chuyên gia pháp lý của Đại học Stanford đồng xây dựng. Nó bao gồm nhiều nhiệm vụ khác nhau như giải thích hợp đồng, áp dụng quy tắc và phân tích cấu trúc của các lập luận pháp lý và được tham chiếu như một tiêu chuẩn ngành như một trục đánh giá nhằm đo lường khả năng suy luận pháp lý thực tế thay vì ghi nhớ các bài viết. Tuy nhiên, cần phải thận trọng trong hoạt động thực tế kể từ năm 2026. Ngay cả khi điểm cao, việc sử dụng nó làm cơ sở để đưa ra quyết định tuyển dụng là rất nguy hiểm vì trọng tâm là các nhiệm vụ trong lĩnh vực pháp lý Anh-Mỹ và không thể đo lường khả năng giải quyết theo luật Nhật Bản hoặc các dạng hợp đồng dành riêng cho công ty. Ngoài ra, trong lĩnh vực này, người ta thường bỏ qua rằng chi phí của lệnh gọi API là cần thiết để chạy triệt để một nhóm tác vụ và bạn càng so sánh các mô hình thì chi phí càng tăng. Về cách thực hiện lựa chọn tại chỗ, được cho là thực tế khi chỉ trích xuất các nhiệm vụ gần với loại hợp đồng do công ty bạn xử lý mà không dựa vào điểm số và đưa ra quyết định dựa trên xác minh bổ sung bằng cách sử dụng dữ liệu nội bộ.