Bộ nhớ đệm lời nhắc là công nghệ giúp giảm chi phí xử lý và độ trễ bằng cách lưu một phần lời nhắc đầu vào vào API LLM ở phía máy chủ và sử dụng lại cùng một tiền tố.
Bộ nhớ đệm lời nhắc là một cơ chế giúp giảm chi phí và độ trễ bằng cách lưu vào bộ nhớ đệm cùng một văn bản đầu vào (lời nhắc hệ thống, ngữ cảnh, mẫu vài lần chụp, v.v.) ở phía máy chủ khi thực hiện lệnh gọi API tới LLM và bỏ qua quá trình xử lý lại trong các lệnh gọi tiếp theo.
Anthropic (dòng Claude 3.5 trở lên) có thể giảm tới 90% chi phí mã thông báo đầu vào khi có sự cố xảy ra với bộ đệm và bộ đệm tiền tố được tự động áp dụng trong OpenAI (GPT-4o, v.v.). Tính đến năm 2026, gần như tất cả các nhà cung cấp LLM lớn đều cung cấp một số loại cơ chế bộ nhớ đệm.
Những cạm bẫy trong hoạt động thực tế là (1) việc ghi vào bộ đệm đắt hơn bình thường (khoảng 1,25 lần đối với Anthropic), (2) bộ đệm hoạt động với kết quả khớp tiền tố chính xác, vì vậy nếu bạn nhúng dấu thời gian hoặc ID động vào nửa đầu của lời nhắc, bộ đệm sẽ bị vô hiệu ngay lập tức và (3) các nhà cung cấp có TTL mặc định là 5 phút có thể không tương thích với xử lý hàng loạt.
ReviewAI thường nhìn thấy xu hướng thị trường trong lĩnh vực ứng dụng RAG quy mô lớn có thể giảm 30-70% chi phí mã thông báo, dao động từ hàng chục nghìn yên Nhật đến hàng trăm nghìn yên Nhật mỗi tháng. Tuy nhiên, đối với những cuộc gọi không thường xuyên, hiện tượng ngược lại xảy ra trong đó chi phí ghi vượt quá mức tiết kiệm được. Tiêu chí lựa chọn là ``Bạn có sử dụng cùng một lời nhắc nhiều lần trong vòng 5 phút không?'' Tối đa hóa hiệu quả khi kết hợp với RAG và AI agent với lời nhắc hệ thống dài.