Ứng phó sự cố AI là một quy trình vận hành xử lý một cách có hệ thống mọi thứ từ phát hiện đến khôi phục khi xảy ra sự cố như trục trặc hệ thống AI, đầu ra có hại hoặc vi phạm an ninh.
Ứng phó sự cố AI đề cập đến một khuôn khổ xử lý các vấn đề cụ thể về AI như đánh giá sai mô hình AI, rò rỉ thông tin do đưa vào kịp thời, vi phạm quyền sản phẩm và đầu ra mang tính phân biệt đối xử/có hại, đồng thời xử lý chúng như một chuỗi quy trình, từ phát hiện, phân loại, ngăn chặn, phân tích nguyên nhân và ngăn ngừa tái diễn. Nó được đặc trưng bằng cách xây dựng trên các hệ thống ứng phó sự cố bảo mật truyền thống nhưng kết hợp khả năng truy xuất nguồn gốc của các phiên bản mô hình, lời nhắc và bộ dữ liệu. Trong các hoạt động thực tế kể từ năm 2026, các tín hiệu phát hiện có xu hướng bị phân tán trong cơ sở hạ tầng nhật ký và một điều đáng lo ngại là nhiều địa điểm thiếu quy trình để xử lý các tình huống trong đó các phán đoán không chính xác do AI agent đưa ra bị ràng buộc vào các nhiệm vụ tiếp theo. Chi phí thành lập một nhóm chuyên trách mới là rất lớn đối với các doanh nghiệp vừa và nhỏ và xu hướng là mở rộng vai trò giám sát AI vào các hệ thống vận hành an ninh và SRE hiện có. Khi chọn một công cụ, cách tiếp cận phổ biến trong lĩnh vực này là xem xét ba tính năng: quét mã và lời nhắc dễ bị tổn thương, trực quan hóa dấu vết thực thi và cảnh báo tự động trong trường hợp xảy ra sự cố.