Kiểm toán AI là một quá trình trong đó bên thứ ba hoặc nhóm nội bộ đánh giá và xác minh một cách có hệ thống độ tin cậy, tính công bằng, minh bạch và tuân thủ pháp luật của hệ thống AI.
Kiểm toán AI là một quá trình đánh giá một cách có hệ thống xem liệu hệ thống AI có đáp ứng các tiêu chuẩn đạo đức, quy định pháp lý và yêu cầu về hiệu suất hay không. Đạo luật AI của EU (thực thi đầy đủ vào năm 2026) yêu cầu bên thứ ba kiểm tra AI có rủi ro cao và việc đưa đạo luật này vào các lĩnh vực y tế, tuyển dụng và sàng lọc tín dụng đang gia tăng nhanh chóng.
Cạm bẫy lớn nhất trong hoạt động thực tế là việc kiểm toán chỉ trở thành một mã thông báo. Có nhiều trường hợp trong lĩnh vực phát hiện ảo giác và đánh giá sai lệch bị bỏ qua do tập trung vào việc chuẩn bị tài liệu. Có nhiều sai lầm khi chỉ tập trung vào chất lượng đầu ra LLM mà bỏ qua việc xác minh giấy phép dữ liệu đào tạo.
Giá thị trường vào năm 2026 ước tính là 1 triệu đến 3 triệu yên Nhật cho một cuộc đánh giá nội bộ cho một hệ thống cỡ trung bình ở Nhật Bản và hơn 5 triệu yên Nhật cho một tổ chức chứng nhận bên ngoài. Các nghiên cứu điển hình về ReviewAI đã xác định được nhiều công ty đã cắt giảm một nửa chi phí bằng cách tận dụng khả năng quản trị tích hợp của Dataiku và Amazon Bedrock. Chìa khóa để lựa chọn là "phân loại rủi ro trước" và độ sâu cũng như chi phí của cuộc kiểm toán sẽ khác nhau rất nhiều tùy thuộc vào việc ứng dụng có rủi ro cao hay không.