Vending-Bench là điểm chuẩn kiểm tra khả năng ra quyết định nhất quán của AI agent trong một khoảng thời gian dài bằng cách mô phỏng hoạt động của máy bán hàng tự động.
Vending-Bench là một phương pháp đánh giá AI agent được Andon Labs ở Hoa Kỳ công bố và được coi là chuẩn mực để đo lường xem liệu một agent có thể tiếp tục thực hiện các nhiệm vụ đơn giản như quản lý hàng tồn kho, đặt hàng, định giá và thanh toán hoa hồng trong thời gian dài (vài triệu token cho mỗi lần thực hiện) và duy trì việc ra quyết định nhất quán hay không. Trong khi các tiêu chuẩn về độ chính xác chung xem xét “độ chính xác của từng câu hỏi và từng câu trả lời”, Vending-Bench được đặc trưng bởi sự đánh giá của nó dựa trên quan điểm tương tự như hoạt động kinh doanh, chẳng hạn như “Liệu hệ thống có bị lỗi ngay cả khi nó tiếp tục được sử dụng trong một thời gian dài?” Điều đáng tiếc trong hoạt động thực tế là có một số trường hợp nhất định được báo cáo trong đó ngay cả những agent có thể hoạt động ngầm lúc ban đầu cũng rơi vào vòng lặp đầu ra không mạch lạc do lỗi đặt hàng hoặc hiểu sai về quy trình. bối cảnh và không thể tự phục hồi. Khi xem xét việc đưa AI loại agent vào hiện trường, điểm mấu chốt trong thực tế tính đến năm 2026 là không chỉ xem xét điểm chính xác của các nhiệm vụ đơn lẻ mà còn cả kết quả của các băng ghế hoạt động dài hạn và chi phí cho việc đặt lại trạng thái thường xuyên và giám sát con người.