Truy xuất nén ngữ cảnh là phương pháp tìm kiếm loại bỏ các phần không liên quan đến câu hỏi khỏi tài liệu được RAG tìm kiếm, chỉ nén thông tin liên quan và chuyển nó đến LLM.
Nén theo ngữ cảnh là phương pháp cô đọng và lọc các câu không liên quan đến câu hỏi và các phần dư thừa từ các đoạn tài liệu được RAG truy xuất, thu hẹp ngữ cảnh được chuyển đến LLM. Mặc dù được cho là giảm thiểu lãng phí mã thông báo và ngăn chặn các câu trả lời không chính xác do nhiễu so với việc nhập kết quả tìm kiếm thô, nhưng bản thân quá trình nén bao gồm các cuộc gọi LLM bổ sung và độ trễ, do đó, trong hoạt động thực tế vào năm 2026, có thể sẽ có sự cân bằng giữa chi phí tăng và tốc độ phản hồi giảm. Trong lĩnh vực này, nó được cho là được sử dụng rộng rãi để quyết định có nên áp dụng một mô hình trong khi xem xét hiệu quả chi phí hay không, chẳng hạn như sử dụng mô hình nhẹ, chi phí thấp để nén hoặc thay thế nó bằng cách cải thiện độ chính xác của tìm kiếm nhúng hoặc điều chỉnh kích thước khối mà không cần nén. Về mặt giá trị thị trường, có những trường hợp chi phí bổ sung của bước nén vượt quá chi phí tìm kiếm ban đầu nên cần phải xác minh trước tính hiệu quả về mặt chi phí.