Bộ nhớ agent là một cơ chế bộ nhớ cho phép AI agent giữ lại các cuộc hội thoại, lịch sử nhiệm vụ và kiến thức trong quá khứ và sử dụng nó cho hành động tiếp theo.
Bộ nhớ agent là thuật ngữ chung để chỉ cơ chế mà các AI agent dựa trên LLM lưu giữ và truy xuất thông tin. Nó được phân loại rộng rãi thành bốn loại. 1) Bộ nhớ trong ngữ cảnh (được viết trực tiếp trong dấu nhắc), 2) Loại tìm kiếm ngữ nghĩa sử dụng vectơ DB bên ngoài (Pinecone, pgvector, v.v.), 3) Bộ nhớ phân đoạn (đã lưu nhật ký hành động trong quá khứ như hiện tại), 4) Bộ nhớ thủ tục (các mẫu thành công được lưu dưới dạng quy tắc).
Cạm bẫy phổ biến nhất trong hoạt động thực tế tính đến năm 2026 là "bối cảnh phình to". Nhiệm vụ càng dài thì mức tiêu thụ token càng tăng và ngay cả với GPT-4o và Claude, chi phí API khi xử lý hàng triệu token cũng tăng bất ngờ. Về mặt chi phí, phương pháp vectơ DB + RAG bên ngoài cung cấp sự cân bằng tốt giữa độ chính xác và chi phí tìm kiếm và là phương pháp được sử dụng phổ biến nhất trong lĩnh vực này.
Mặt khác, điểm mù của phương pháp RAG là “lỗi thời nhúng”. Khi mô hình nhúng được cập nhật, cần phải lập chỉ mục lại dữ liệu trong quá khứ, điều này làm tăng chi phí bảo trì tại chỗ. Ngay cả trong các bài đánh giá về ReviewAI, việc lập chỉ mục lại trong quá trình hoạt động lâu dài cũng thường bị bỏ qua.
Tiêu chí lựa chọn: trong ngữ cảnh nếu thời lượng nhiệm vụ nằm trong một phiên, DB bên ngoài dành cho các AI agent kéo dài vài tuần trở lên và sự kết hợp giữa DB bên ngoài + bộ nhớ phân đoạn nếu cần cá nhân hóa cho mỗi người dùng.