RAG dựa trên agent là sự phát triển của kiến trúc RAG thông thường trong đó AI agent tự động tạo ra các truy vấn tìm kiếm, thu hẹp chúng và tích hợp nhiều nguồn trong khi tạo ra câu trả lời.
RAG thông thường có luồng `` tìm kiếm đơn → tạo' cố định, nhưng trong RAG loại agent, bản thân LLM tự động xác định việc tạo, diễn đạt lại truy vấn tìm kiếm, sự cần thiết của tìm kiếm lặp lại và tích hợp nhiều nguồn. Mặc dù điều này cải thiện đáng kể độ chính xác của câu trả lời cho các câu hỏi phức tạp nhưng vẫn có sự đánh đổi lớn về chi phí thực hiện.
Có ba cạm bẫy chính trong hoạt động thực tế tính đến năm 2026. ① Độ trễ: Ngay cả trong trường hợp RAG thường có thể được trả về sau 1 đến 2 giây, nó sẽ tăng lên 5 đến 15 giây do tìm kiếm agent lặp đi lặp lại. ② Chi phí tăng: Không có gì lạ khi vòng lặp tìm kiếm không hội tụ và một truy vấn yêu cầu 20 cuộc gọi LLM trở lên. ③Ô nhiễm bối cảnh: Hãy cẩn thận với nghịch lý là bạn càng thu thập được nhiều thông tin thì càng có nhiều nội dung không liên quan được đưa vào và độ chính xác càng giảm.
Phương pháp lựa chọn trong trường này rất rõ ràng và nếu bạn đang xem Câu hỏi thường gặp đơn giản hoặc một nguồn thì RAG thông thường sẽ đủ. Hãy cân nhắc chỉ áp dụng nó trong những tình huống cần có lý luận kết hợp giữa kiến thức pháp lý, y tế và nội bộ. Giá trung bình là khoảng $50 đến $500 mỗi tháng (tùy thuộc vào khối lượng truy vấn) thông qua agent Amazon Bedrock. Trong các trường hợp do ReviewAI điều tra, đã có nhiều trường hợp chi phí tăng vọt lên gấp 10 lần so với RAG thông thường do giới thiệu quá mức.