Lập nhóm cầu vồng là một phương pháp nhóm đỏ tự động tạo ra nhiều lời nhắc đối nghịch khác nhau bằng cách kết hợp các danh mục rủi ro và kiểu tấn công để xác định toàn diện các lỗ hổng trong mô hình AI.
Lập nhóm cầu vồng là phương pháp lập nhóm đỏ sử dụng thuật toán tiến hóa (tìm kiếm kiểu MAP-Elites) để tự động tạo ra nhiều lời nhắc đối nghịch khác nhau bằng cách kết hợp các danh mục rủi ro và kiểu tấn công, đồng thời xác minh một cách có hệ thống tính an toàn của các AI agent LLM và AI. Mặc dù được khen ngợi vì khả năng bao phủ không gian tìm kiếm toàn diện hơn so với việc tạo mô hình tấn công thủ công, nhưng trong hoạt động thực tế vào năm 2026, quá trình phân loại và ưu tiên thủ công số lượng lớn lời nhắc được tạo có thể sẽ trở thành nút thắt cổ chai. Khi thuê ngoài xác minh cho một nhà cung cấp chuyên biệt, chi phí sẽ thay đổi rất nhiều tùy thuộc vào quy mô của mô hình mục tiêu và số lượng danh mục rủi ro, do đó, người ta nói rằng trong lĩnh vực này, nếu bạn muốn liên tục cập nhật AI agent của riêng mình, bạn hãy kết hợp nó vào giám sát liên tục nội bộ và nếu bạn muốn thực hiện kiểm tra an toàn một lần, bạn nên thuê ngoài.