Nén ngữ cảnh là cơ chế kéo dài tuổi thọ của cửa sổ ngữ cảnh bằng cách cô đọng và nén các điểm chính khi lịch sử hội thoại của AI agent đạt đến giới hạn trên.
Nén bối cảnh là quá trình trong đó AI agent chạy trong thời gian dài tóm tắt các tương tác trong quá khứ và kết quả thực thi công cụ trước khi đạt đến giới hạn của cửa sổ ngữ cảnh, nén các chi tiết cũ và chỉ để lại các quyết định quan trọng, đường dẫn tệp và các tác vụ chưa hoàn thành. Không giống như việc xóa cuộc trò chuyện đơn giản, mục đích là để giảm mức tiêu thụ mã thông báo trong khi vẫn giữ được ngữ cảnh cần thiết cho công việc tiếp theo. Trong các hoạt động thực tế vào năm 2026, đây sẽ là một chức năng thiết yếu đối với các AI agent mã hóa và xử lý hàng loạt dài hạn. Nếu thời gian hoặc mức độ chi tiết của quá trình nén không chính xác thì các hướng dẫn và ràng buộc cuối cùng sẽ bị thiếu, dẫn đến các vấn đề trong đó các AI agent liên tục mắc phải những lỗi tương tự trong trường. Về mặt chi phí, phí API có thể giảm đáng kể so với việc gửi toàn bộ lịch sử mỗi lần, nhưng do độ chính xác của thuật toán nén thay đổi tùy theo nhà cung cấp, nên khi chọn một công cụ, việc kiểm tra nhật ký hoạt động thực tế để kiểm tra tốc độ theo dõi hướng dẫn sau khi nén và tính nhất quán trong các tác vụ dài đã trở nên phổ biến.