Mô hình bảo vệ là một mô hình AI nhỏ chuyên dùng để giám sát đầu vào và đầu ra của LLM, phát hiện và chặn các lời nhắc có hại cũng như câu trả lời không phù hợp.
Mô hình bảo vệ là mô hình phụ trợ kiểm tra đầu vào và đầu ra riêng biệt với LLM chính trong hệ thống sử dụng mô hình ngôn ngữ quy mô lớn (LLM) nhằm giảm thiểu các rủi ro như chèn kịp thời, tạo ra nội dung có hại và rò rỉ thông tin cá nhân. Ví dụ điển hình là các mô hình loại phân loại như Llama Guard và NeMo Guardrails, được đặc trưng bởi khả năng đưa ra quyết định dựa trên ngữ cảnh thay vì lọc dựa trên quy tắc. Trong hoạt động thực tế kể từ năm 2026, người ta đã chỉ ra rằng các trường hợp câu hỏi hợp pháp bị từ chối do chính mô hình bảo vệ đưa ra kết quả dương tính giả, làm giảm trải nghiệm người dùng, là một vấn đề. Ngoài ra, do các cuộc gọi đến mô hình bảo vệ diễn ra cùng với các yêu cầu đến mô hình chính nên độ trễ và chi phí API tăng gấp đôi, đây là một vấn đề tại hiện trường. Khi đưa ra lựa chọn, tùy thuộc vào mức độ chấp nhận rủi ro của công ty bạn, bạn cần quyết định xem nên sử dụng dịch vụ lan can thương mại đa năng hay sản xuất một mô hình nhẹ nội bộ đã được tinh chỉnh bằng cách sử dụng dữ liệu của riêng bạn, đồng thời xem xét sự cân bằng giữa độ chính xác và chi phí.