Lỗi bối cảnh là một hiện tượng trong đó khi lượng thông tin đầu vào vào cửa sổ ngữ cảnh LLM tăng lên, mô hình sẽ bỏ qua thông tin liên quan và độ chính xác của phản hồi sẽ giảm.
Thối bối cảnh đề cập đến một hiện tượng trong đó khi lượng thông tin trong cửa sổ ngữ cảnh đầu vào LLM tăng lên, mô hình không còn có thể tham chiếu chính xác thông tin có liên quan cao và tính nhất quán cũng như độ chính xác của các phản hồi giảm dần. Được biết, việc tăng số lượng mã thông báo không cải thiện tuyến tính hiệu suất và càng có nhiều thông tin được đóng gói dày đặc thì càng có nhiều khả năng thông tin trung gian sẽ bị bỏ qua và điều này đặc biệt có thể xảy ra trong các thiết kế bao gồm các lời nhắc dài hoặc số lượng lớn kết quả tìm kiếm RAG. Trong các hoạt động thực tế kể từ năm 2026, sự cố này có thể xảy ra trong các tác vụ dài hạn trong đó các tổng đài viên tiếp tục tích lũy lịch sử hội thoại và nhật ký thực thi công cụ cũng như các thiết kế tóm tắt và nén thông tin định kỳ cũng như xóa thông tin không liên quan mỗi lần được áp dụng rộng rãi tại hiện trường. Ngoài ra, việc mở rộng vô điều kiện cửa sổ ngữ cảnh sẽ làm tăng chi phí API tương ứng, do đó, từ góc độ tối ưu hóa chi phí, điều quan trọng là phải lựa chọn cẩn thận và chỉ chuyển những thông tin cần thiết. Khi lựa chọn một công cụ, việc lựa chọn một khung agent có khả năng quản lý bối cảnh và tóm tắt tự động được coi là sự khác biệt thực tế trong việc ngăn ngừa tham nhũng.