Đánh giá trực tuyến là phương pháp theo dõi và đánh giá liên tục chất lượng phản hồi của mô hình AI đối với đầu vào thực tế của người dùng trong môi trường sản xuất.
Đánh giá trực tuyến đề cập đến một khuôn khổ liên tục đo lường chất lượng phản hồi, độ trễ và phản ứng của người dùng (nút bấm, rút tiền, thử lại, v.v.) đối với lưu lượng truy cập thực tế sau khi sản xuất, trái ngược với đánh giá ngoại tuyến trong đó các mô hình được xác minh bằng dữ liệu thử nghiệm trước khi phát hành. Người ta nói rằng nó thường được vận hành bằng cách sử dụng kết hợp thử nghiệm A/B, thu thập phản hồi của con người và chấm điểm tự động bằng cách sử dụng LLM với tư cách là giám khảo. Trong hoạt động thực tế kể từ năm 2026, một cạm bẫy điển hình được gọi là "sự thay đổi phân phối", trong đó mô hình đạt điểm cao trong đánh giá ngoại tuyến sẽ giảm hiệu suất do nhiều loại phân phối đầu vào (cụm từ không mong muốn, ngôn ngữ hỗn hợp, v.v.). Ngoài ra, do chi phí thu thập nhật ký để đánh giá, ẩn danh và suy luận đối với LLM với tư cách là thẩm phán liên tục phát sinh, điều quan trọng là phải thu hẹp các chỉ số cần theo dõi và làm rõ ngưỡng cảnh báo trước khi đưa ra. Về mặt giá thị trường, có hai loại: trường hợp sử dụng SaaS dành riêng cho các công cụ đánh giá và khả năng quan sát kết hợp với các trường hợp việc đánh giá được hoàn thành bằng cơ sở hạ tầng nhật ký nội bộ và đánh giá hàng loạt định kỳ và quyết định thường được đưa ra dựa trên lưu lượng truy cập và cơ cấu hoạt động của nhóm.