Tường lửa LLM (Tường lửa prompt) là lớp bảo mật giám sát và lọc đầu vào và đầu ra sang LLM trong thời gian thực để ngăn chặn việc tiêm kịp thời, rò rỉ thông tin và đầu ra có hại.
Tường lửa LLM là thuật ngữ chung để chỉ phần mềm trung gian bảo mật có chức năng kiểm tra các yêu cầu (lời nhắc) và phản hồi (hoàn thành) đối với hệ thống AI trong thời gian thực nhằm ngăn chặn việc đưa nội dung prompt, rò rỉ thông tin cá nhân, tạo nội dung có hại và bẻ khóa. Trong ngành, nó còn được gọi là "Tường lửa bảo vệ" và "Tường lửa AI" và các triển khai tiêu biểu bao gồm Lan can bảo vệ Amazon Bedrock và Bảo vệ Lakera.
Kể từ năm 2026, khi việc áp dụng AI tổng hợp của doanh nghiệp tăng tốc, cạm bẫy lớn nhất trong hoạt động thực tế là "phát hiện quá mức". Thường có những trường hợp trong lĩnh vực mà các quy tắc bảo vệ chặt chẽ hơn ngăn cản việc sử dụng hợp pháp trong kinh doanh, dẫn đến phản ứng dữ dội từ các kỹ sư. Ngoài ra, nhiều giải pháp hỗ trợ đa phương thức (tấn công qua hình ảnh và âm thanh) vẫn chưa hoàn thiện và ngày càng có nhiều tình huống mà việc chỉ bảo vệ văn bản là không đủ.
Xét về giá thị trường, chi phí xây dựng cho mã nguồn mở (chẳng hạn như NeMo Guardrails) bắt đầu từ vài chục nghìn yên Nhật mỗi tháng và chi phí SaaS thương mại thường dao động từ 100.000 đến 500.000 yên Nhật mỗi tháng. Trong các trường hợp trong nước do ReviewAI điều tra, các công ty tài chính và y tế ưu tiên tuân thủ và chọn SaaS, trong khi các công ty khởi nghiệp thường bắt đầu với việc xác thực đầu vào tối thiểu bằng mã nguồn mở. Khi thực hiện lựa chọn tại hiện trường, hãy bắt đầu bằng cách "làm rõ mô hình mối đe dọa mà bạn muốn bảo vệ". Giải pháp tối ưu sẽ khác nhau rất nhiều tùy thuộc vào việc đó là biện pháp bẻ khóa hay biện pháp ngăn chặn rò rỉ dữ liệu.