garak là một trình quét bảo mật mã nguồn mở tự động kiểm tra các mô hình ngôn ngữ lớn để tìm các lỗ hổng như chèn prompt và đầu ra độc hại.
garak là một trình quét bảo mật mã nguồn mở tự động áp dụng các kiểu tấn công đã biết như prompt, bẻ khóa, đầu ra có hại, rò rỉ thông tin cá nhân và ảo giác cho các mô hình ngôn ngữ quy mô lớn (LLM) để xác định các lỗ hổng và được biết đến rộng rãi là phiên bản LLM tương đương với công cụ chẩn đoán mạng nmap. Nó có thể được thực thi bằng cách chỉ định mô hình mục tiêu và nhóm thăm dò từ CLI và được cho là tương thích với nhiều loại LLM như GPT, Claude và các mô hình trọng lượng mở. Tuy nhiên, trong hoạt động thực tế, cần lưu ý rằng kết quả phát hiện chỉ là phản hồi đối với các mẫu đã biết và không thể phát hiện ra điểm yếu trong các mô hình tinh chỉnh duy nhất hoặc lời nhắc dành riêng cho doanh nghiệp. Trong hiện trường, nó thường được tích hợp vào CI/CD và được thực thi định kỳ khi giới thiệu một mô hình mới hoặc thay đổi lời nhắc và được sử dụng làm kiểm tra hồi quy sau khi thêm các chức năng RAG hoặc agent. Kể từ năm 2026, sẽ không có phí cấp phép vì đây là một mã nguồn mở, nhưng việc thực hiện một số lượng lớn các cuộc thăm dò sẽ phải chịu phí lệnh gọi API cao, do đó, việc quản lý chi phí bằng cách thu hẹp các mô hình mục tiêu và số lượng cuộc thăm dò đang trở thành thông lệ.