CAG (tạo tăng cường bộ đệm) là phương pháp lưu trữ trước kiến thức cần thiết trong bộ đệm ngữ cảnh của LLM và tạo ra câu trả lời với độ trễ thấp mà không cần phải tìm kiếm mỗi lần.
CAG (Thế hệ tăng cường bộ đệm) là một phương pháp, không giống như RAG, không tìm kiếm cơ sở dữ liệu bên ngoài mọi lúc mà thay vào đó tải kiến thức mà bạn muốn tham chiếu vào bộ đệm ngữ cảnh của LLM (bộ đệm KV) và lưu trữ trước, từ đó loại bỏ bước tìm kiếm và tạo ra câu trả lời. Sự khác biệt so với RAG là miễn là lượng kiến thức mục tiêu vừa với cửa sổ ngữ cảnh lớn thì có thể tránh được độ trễ tìm kiếm và sự biến động về độ chính xác của tìm kiếm. Mặt khác, trong hoạt động thực tế kể từ năm 2026, trong trường hợp cơ sở kiến thức được cập nhật thường xuyên (bảng giá, thông tin tồn kho, v.v.), chi phí tái tạo tiền sẽ phát sinh liên tục và một cạm bẫy đã được chỉ ra là tần suất cập nhật càng cao thì chi phí vận hành càng cao so với RAG. Ngoài ra, khi lượng dữ liệu đích đạt đến giới hạn trên của cửa sổ ngữ cảnh, chi phí suy luận sẽ tăng theo tỷ lệ, do đó, hướng dẫn thực tế để lựa chọn giữa RAG và RAG dựa trên việc liệu kiến thức có tĩnh hay không và phạm vi tham chiếu có thể được thu hẹp hay không. Về giá trị thị trường, cũng cần lưu ý rằng chi phí API có xu hướng cao hơn cấu hình RAG với các lời nhắc ngắn vì mỗi lần chèn một bối cảnh dài.