Đánh giá bóng là một phương pháp đánh giá chạy các mô hình và lời nhắc mới song song với lưu lượng truy cập trực tiếp, đồng thời so sánh và xác minh chất lượng mà không hiển thị đầu ra cho người dùng.
Triển khai bóng là một phương pháp đánh giá chạy một mô hình hoặc lời nhắc mới song song với môi trường sản xuất, chuyển cùng một đầu vào như yêu cầu thực tế nhưng không hiển thị đầu ra cho người dùng và chỉ ghi lại, so sánh và xác minh nó. Không giống như bản phát hành canary, trong đó một phiên bản mới được hiển thị cho một số người dùng để đánh giá phản ứng của họ, nó được chạy ở hậu trường mà không được hiển thị cho bất kỳ ai, vì vậy ngay cả khi nó thất bại, sẽ không có tác động đến quá trình sản xuất thực tế và nó được cho là được sử dụng rộng rãi như một bước kiểm tra cuối cùng trước khi cập nhật mô hình hoặc thay đổi cấu hình RAG. Cạm bẫy lớn nhất trong hoạt động thực tế vào năm 2026 là chi phí suy luận sẽ tăng gấp đôi do mô hình cũ và mô hình mới chạy song song với cùng một đầu vào và trừ khi khoảng thời gian so sánh được thu hẹp lại, chi phí sẽ tiếp tục tăng. Việc so sánh các kết quả đầu ra yêu cầu đánh giá thủ công hoặc LLM-với tư cách là Thẩm phán riêng biệt, điều này cũng phát sinh chi phí thiết lập cơ sở hạ tầng đánh giá. Có ba cách tiêu chuẩn để đưa ra lựa chọn trong lĩnh vực này: (1) hạn chế những thay đổi có tác động lớn, chẳng hạn như chuyển đổi mô hình, (2) chia khoảng thời gian so sánh thành các khoảng thời gian ngắn, chẳng hạn như một đến hai tuần và (3) ấn định trước các chỉ số đánh giá và không thay đổi tiêu chuẩn sau này. Nói chung, thông lệ là hạn chế chi phí ở mức lấy mẫu giới hạn lưu lượng truy cập mục tiêu.