Nén lời nhắc là một kỹ thuật giúp giảm đáng kể số lượng mã thông báo được chuyển tới LLM trong khi vẫn giữ nguyên ý nghĩa của lời nhắc và ngữ cảnh.
Nén nhanh đề cập đến một nhóm kỹ thuật để khắc phục các giới hạn cửa sổ ngữ cảnh của LLM và các hạn chế về chi phí API. Các kỹ thuật điển hình bao gồm nén giảm thiểu tổn thất ngữ nghĩa bằng cách sử dụng LLMLingua của Microsoft, hợp nhất tóm tắt các đoạn thu được bằng RAG và loại bỏ các lời nhắc hệ thống dư thừa. Tính đến năm 2026, mặc dù các mô hình ngữ cảnh siêu dài đang trở nên phổ biến nhưng chi phí mã thông báo đầu vào của các mô hình cao cấp được ước tính là vài trăm đến vài nghìn yên Nhật trên một triệu mã thông báo và việc nén vẫn liên quan trực tiếp đến việc giảm chi phí khi xử lý tài liệu dài. Phương pháp lựa chọn tiêu chuẩn trong trường này là các thư viện dựa trên LLMLingua nếu chất lượng là quan trọng, đặt mô hình tóm tắt ở giai đoạn trước nếu tốc độ là quan trọng và lưu giữ bộ nhớ có chọn lọc (Ngữ cảnh chọn lọc) nếu hệ thống dựa trên agent là quan trọng. Một cạm bẫy trong vận hành thực tế là nếu tăng tốc độ nén quá nhiều thì danh từ riêng, số, thủ tục sẽ bị mất và ảo giác sẽ tăng lên nên tốc độ nén từ 70 đến 80% được coi là giới hạn trên cho sự cân bằng giữa chất lượng và hiệu quả. ban biên tập khuyên bạn nên luôn xác minh chất lượng đầu ra sau khi nén trước khi áp dụng vào sản xuất.