Xếp hạng lại là công nghệ phục hồi các tài liệu ứng viên được tìm kiếm ban đầu bằng hệ thống RAG bằng mô hình chính xác hơn và sắp xếp chúng theo thứ tự liên quan.
Xếp hạng lại là một quá trình thiết yếu để cải thiện độ chính xác của đường ống RAG. Tìm kiếm vectơ chung (nhúng + ANN) được thiết kế để ưu tiên tốc độ và nhanh chóng thu hẹp 50 đến 100 kết quả hàng đầu, nhưng mức độ liên quan về ngữ nghĩa thường bị bỏ qua. Do đó, trình xếp hạng lại loại bộ mã hóa chéo (Cohere Rerank, BGE-Reranker, v.v.) sẽ kiểm tra các ứng cử viên và chọn lại từ 5 đến 10 ứng viên hàng đầu sẽ thực sự được chuyển cho LLM.
Chủ yếu có ba cạm bẫy trong hoạt động thực tế vào năm 2026. ①Chi phí: API Cohere Rerank có giá khoảng 0,10 USD đến 0,20 USD cho mỗi 1.000 truy vấn và việc sử dụng trên quy mô lớn sẽ dẫn đến chi phí bổ sung vài chục nghìn yên Nhật mỗi tháng. ② Độ trễ: Do bộ mã hóa chéo đánh giá tất cả các cặp tài liệu x truy vấn nên thời gian phản hồi sẽ tăng khi số lượng ứng viên tăng lên và mất khoảng +200 đến 500 mili giây cho 50 ứng cử viên. ③ Hiệu ứng đạt đến mức ổn định: Nếu độ chính xác của tìm kiếm ban đầu quá thấp, việc xếp hạng lại không thể cứu được (rác vào, rác ra).
Là hướng dẫn chung để lựa chọn trong lĩnh vực này, Cohere Rerank API là hiệu suất chi phí tốt nhất cho các ứng dụng quy mô nhỏ có ít hơn 100.000 truy vấn mỗi tháng. Nếu bạn có yêu cầu về quyền riêng tư dữ liệu hoặc quy mô lớn, bạn có thể tự mình vận hành mô hình cục bộ của dòng BGE. Trong các trường hợp được ReviewAI xác nhận, có nhiều trường hợp việc áp dụng tính năng sắp xếp lại giúp cải thiện độ chính xác của phản hồi lên 20-40% và đây được khuyến nghị là bước đầu tiên để cải thiện độ chính xác của RAG.