SciCode là điểm chuẩn kiểm tra khả năng tạo mã thực tế của LLM trong các lĩnh vực nghiên cứu khoa học như vật lý, hóa học và sinh học.
SciCode thường được cộng đồng nghiên cứu tham khảo như một tiêu chuẩn đánh giá để đo lường mức độ chính xác của LLM có thể viết mã tính toán số thực sự cần thiết trong các lĩnh vực nghiên cứu khoa học như vật lý, hóa học, sinh học và khoa học vật liệu. Trong khi các tiêu chuẩn tạo mã hiện tại (chẳng hạn như HumanEval) tập trung vào các vấn đề thuật toán có mục đích chung thì SciCode có đặc điểm là chia nhỏ các nhiệm vụ tính toán khoa học bắt nguồn từ các bài báo và yêu cầu cả kiến thức chuyên môn lẫn việc thực hiện công thức. Trong hoạt động thực tế tính đến năm 2026, vẫn có báo cáo về các trường hợp ngay cả những mô hình có điểm cao trả về kết quả chưa được xác thực về mặt khoa học, chẳng hạn như trộn lẫn hệ thống đơn vị hoặc bỏ qua các điều kiện biên và nếu điểm được lấy theo mệnh giá, việc làm lại có thể xảy ra do chi phí. Khi chọn một mô hình trong lĩnh vực này, bạn có thể an toàn sử dụng điểm SciCode làm điểm bắt đầu, chuẩn bị mã xác minh của riêng bạn cho lĩnh vực bạn đang thực sự xử lý và thiết lập một hệ thống trong đó các kết quả được tạo ra sẽ được các chuyên gia xem xét. Nhìn chung, loại điểm chuẩn chuyên biệt này không phù hợp để đánh giá các mô hình trò chuyện có mục đích chung, nhưng được sử dụng tốt nhất để so sánh các mô hình chuyên tạo mã.