RAG đa phương thức là một phần mở rộng của RAG không chỉ bao gồm văn bản mà còn bao gồm hình ảnh, âm thanh, video, v.v. làm mục tiêu tìm kiếm và tham khảo.
RAG đa phương thức là một kiến trúc vector hóa hình ảnh, bảng biểu, bản vẽ, âm thanh, video, v.v. ngoài tìm kiếm văn bản thông thường và kết hợp các phương thức phù hợp nhất với câu hỏi của người dùng để tạo ra câu trả lời. Vì các hình minh họa trong hướng dẫn sử dụng sản phẩm và hình ảnh sản phẩm EC có thể được sử dụng làm mục tiêu tìm kiếm nên có thể thu được thông tin không thể truy xuất được từ một RAG văn bản duy nhất.
Trong hoạt động thực tế vào năm 2026, vấn đề lớn nhất sẽ là "chi phí vector hóa hình ảnh" và "đánh đổi độ chính xác". Các mô hình nhúng hình ảnh (loại CLIP) khác với mô hình nhúng văn bản về không gian, do đó, chỉ cần trộn chúng lại với nhau có thể dễ dàng gây ra "vấn đề về khoảng cách phương thức", làm giảm độ chính xác của tìm kiếm. Về cách lựa chọn trong lĩnh vực này, thông thường (1) sử dụng RAG thông thường cho các tài liệu có thể được thay thế bằng trích xuất văn bản và (2) chỉ sử dụng đa phương thức khi thông tin trực quan là cần thiết, chẳng hạn như bản thiết kế, hình ảnh y tế và ảnh sản phẩm.
Trong các trường hợp được ReviewAI xác nhận, cấu hình kết hợp Amazon Bedrock và Claude thường được các công ty trong nước sử dụng và chi phí xây dựng ban đầu thường dao động từ 1 triệu đến 5 triệu yên Nhật. Cũng cần lưu ý rằng việc quản lý độ trễ trở nên quan trọng khi thêm các phương thức âm thanh/video.