Ngộ độc RAG là một phương thức tấn công đưa thông tin độc hại vào cơ sở dữ liệu bên ngoài và các tài liệu được AI tham chiếu để tạo ra các câu trả lời sai.
Ngộ độc RAG là một phương thức tấn công làm sai lệch các câu trả lời của AI bằng cách cố tình thêm nội dung độc hại hoặc thông tin sai lệch vào các cơ sở kiến thức bên ngoài và tài liệu được tham chiếu bởi RAG (RAG). Nếu dữ liệu bị ô nhiễm được đặt trong một tệp, wiki hoặc trang web để tìm kiếm, LLM sẽ trích dẫn dữ liệu đó là thông tin chính xác và đưa ra các câu trả lời sai hoặc hướng dẫn có hại. Không giống như tính năng prompt, nhắm mục tiêu vào đầu vào hội thoại, việc đầu độc RAG được cho là khác ở chỗ nó nhắm mục tiêu vào "chính dữ liệu nguồn tham chiếu". Các biện pháp tiêu chuẩn ngành bao gồm xác minh nội dung trước khi nhập, chấm điểm độ tin cậy của nguồn và giảm thiểu đặc quyền truy cập. Một cạm bẫy trong lĩnh vực này là có nhiều trường hợp trong đó một vị trí mà bất kỳ ai cũng có thể viết, chẳng hạn như wiki công ty hoặc ổ đĩa chung, được sử dụng làm nguồn tham chiếu cho RAG và các hoạt động vẫn tiếp tục mà không nhận ra sự ô nhiễm. Do chi phí xây dựng hệ thống giám sát và xác minh từ đầu nên trong hoạt động thực tế kể từ năm 2026, các công ty lớn hơn sẽ có đội ngũ nhân viên bảo mật chuyên trách, trong khi các công ty vừa và nhỏ sẽ ngày càng lựa chọn dựa vào chức năng xác minh của nền tảng RAG hiện có.