RLVR là phương pháp sử dụng trình xác minh để chấm điểm đầu ra của các nhiệm vụ có thể tự động xác định câu trả lời đúng và sử dụng phần thưởng để thực hiện học tăng cường trên LLM.
RLVR (Học tăng cường với phần thưởng có thể xác minh) là một phương pháp học tăng cường trong đó người xác minh dựa trên quy tắc cung cấp phần thưởng thay cho đánh giá của con người đối với các nhiệm vụ có thể được xác định một cách máy móc là đúng hoặc không chính xác, chẳng hạn như bằng chứng toán học, kết quả thực thi mã hoặc đạt/không đạt của các bài kiểm tra đơn vị. Nó đã được báo cáo rộng rãi là sẽ được sử dụng trong các mô hình o1 và DeepSeek-R1 của OpenAI, đồng thời để tăng thời lượng của quá trình suy nghĩ và khả năng tự xác minh. Trong khi RLHF dựa vào đánh giá sở thích của con người và dễ gây ồn ào trong phần thưởng, RLVR được cho là có phần thưởng rõ ràng và khả năng học tập ổn định, nhưng trong hoạt động thực tế kể từ năm 2026, rất khó chỉ áp dụng nó cho các nhiệm vụ có thể được xác minh (mã, toán học, QA có cấu trúc, v.v.) và những hạn chế thường được chỉ ra trong lĩnh vực này là nó không phù hợp để viết tự do hoặc tạo sáng tạo. Ngoài ra, bản thân việc thiết kế trình xác minh và trường hợp thử nghiệm tốn rất nhiều công sức và chi phí GPU cho việc học lặp lại cũng không hề nhẹ, do đó cần phải đánh giá giá thị trường như một khoản đầu tư bổ sung cho mô hình hoàn thiện SFT hiện có trước khi quyết định có áp dụng nó hay không. Tại thời điểm giới thiệu, phương pháp lựa chọn cơ bản tại hiện trường trước tiên là xác định xem nhiệm vụ đó có phải là nhiệm vụ mà thiết bị xác minh có thể được sản xuất với chi phí thấp và đáng tin cậy hay không.