Tìm kiếm theo ngữ cảnh là một phương pháp cải thiện độ chính xác của tìm kiếm trong RAG bằng cách bổ sung ngữ cảnh của các khối bằng LLM và sau đó vector hóa chúng.
Truy xuất theo ngữ cảnh là một phương pháp được Anthropic đề xuất vào năm 2024 nhằm giải quyết vấn đề ``mất kết nối ngữ cảnh do phân đoạn'' mà các RAG truyền thống gặp phải. Trong RAG bình thường, tài liệu được chia thành các đoạn có độ dài cố định, do đó, chỉ riêng các đoạn không có ý nghĩa và tỷ lệ tìm kiếm thành công sẽ giảm. Trong tìm kiếm ngữ cảnh, LLM thêm "lời mở đầu" vào mỗi đoạn tóm tắt ngữ cảnh của toàn bộ tài liệu và sau đó lưu trữ nó trong vectơ DB.
Một cạm bẫy trong hoạt động thực tế tính đến năm 2026 là khoảng 200 đến 400 mã thông báo được tiêu thụ trên mỗi khối để tạo tiền tố, do đó chi phí tiền xử lý sẽ tăng vọt lên hàng chục nghìn yên Nhật đến hàng trăm nghìn yên Nhật cho một triệu khối. Trong thực tế, xu hướng thị trường là sử dụng Bộ nhớ đệm nhanh để giảm chi phí tiền xử lý từ 70 đến 90%. Ngoài ra, khi kết hợp với tìm kiếm kết hợp BM25, mức cải thiện độ chính xác đạt tới 49% (theo công bố của Anthropic), nhưng do số giờ công thực hiện kết hợp cũng được thêm vào nên trong các trường hợp được xác minh bằng ReviewAI, sự cân bằng giữa hiệu quả và chi phí là tốt nhất cho quy mô vừa và nhỏ (dưới 100.000 khối). Là một tiêu chí để lựa chọn, nó đặc biệt hiệu quả đối với những nội dung mà ý nghĩa có thể bị mất theo từng đoạn, chẳng hạn như các tệp PDF dài, tài liệu pháp lý và sổ tay kỹ thuật, đồng thời có hiệu quả hạn chế khi tài liệu khép kín, chẳng hạn như Câu hỏi thường gặp và tin tức ngắn.