Định tuyến truy vấn là cơ chế phân tích nội dung câu hỏi của người dùng và tự động định tuyến câu hỏi đó đến tuyến xử lý phù hợp nhất trong số nhiều mô hình và đích đến tìm kiếm.
Định tuyến truy vấn đề cập đến một công nghệ trong cấu hình RAG và nhiều agent xác định mục đích và độ phức tạp của truy vấn đầu vào và chọn đường dẫn xử lý tối ưu trong số nhiều chỉ mục tìm kiếm, nguồn dữ liệu và mô hình LLM. Mục đích chung là đạt được sự cân bằng giữa độ chính xác và chi phí bằng cách gán các câu hỏi đơn giản cho các mô hình nhẹ và tìm kiếm cơ sở dữ liệu có cấu trúc, cũng như các câu hỏi yêu cầu suy luận phức tạp cho tìm kiếm vectơ và LLM hiệu suất cao. Trong hoạt động thực tế kể từ năm 2026, người ta đã chỉ ra rằng một thiết kế bao gồm lệnh gọi LLM trong bản thân quyết định định tuyến có nguy cơ gây ra độ trễ và chi phí gấp đôi, đồng thời các cấu hình kết hợp nó với các bộ phân loại nhẹ và bộ lọc giai đoạn trước dựa trên quy tắc được áp dụng rộng rãi trong lĩnh vực này. Nói chung, việc thêm lớp định tuyến có thể tăng độ trễ tổng thể lên vài trăm mili giây, do đó, điều quan trọng là đưa ra lựa chọn có tính đến sự cân bằng giữa độ chính xác được cải thiện và độ trễ tăng lên.