ReviewAI
Xếp hạngDanh mụcKhám pháTạp chíSo sánhMiễn phíTừ điển

Tấn công tăng dần (Crescendo)

Cuộc tấn công đỉnh cao là một phương pháp tấn công bẻ khóa bắt đầu bằng một cuộc trò chuyện vô hại và dần dần nâng cao các câu hỏi, vượt qua các biện pháp bảo mật của LLM và gây ra kết quả có hại.

Cuộc tấn công Crescendo là một phương pháp bẻ khóa nhiều lượt dành cho LLM do các nhà nghiên cứu của Microsoft báo cáo và có đặc điểm là bắt đầu bằng một chủ đề vô hại và dần dần vượt qua ranh giới thông qua các cuộc trò chuyện lặp đi lặp lại, thay vì một lời nhắc độc hại duy nhất. Một vấn đề đã biết với tiêu chuẩn ngành là rất dễ vượt qua các bộ lọc đầu vào thông thường vốn chỉ phát hiện những lời nhắc nguy hiểm duy nhất và rất khó phát hiện chúng nếu không tuân theo ngữ cảnh của toàn bộ lịch sử cuộc trò chuyện. Trong các hoạt động thực tế kể từ năm 2026, ngoài việc chặn các lời nhắc đơn lẻ, việc triển khai các rào chắn tương thích nhiều lượt theo dõi quá trình chuyển đổi theo lượt của toàn bộ cuộc trò chuyện đang được tiến hành, nhưng cơ sở hạ tầng giám sát càng dày thì chi phí và độ trễ API càng cao, do đó, độ sâu của lớp phòng thủ cần phải được lựa chọn dựa trên giá trị thị trường của rủi ro và chi phí. Đặc biệt, rủi ro được cho là cao hơn đối với các chatbot loại hỗ trợ khách hàng và trợ lý nội bộ cho phép lịch sử trò chuyện dài và khi giới thiệu các chatbot như vậy, điểm thảo luận thực tế trong lĩnh vực này là số lượt trò chuyện và chuyển đổi chủ đề nên được theo dõi ở mức độ nào.

Thuật ngữ liên quan