Phát hiện nội dung do AI tạo là công nghệ tự động xác định xem văn bản, hình ảnh, âm thanh hoặc video có được tạo bởi AI bằng các phương pháp thống kê và học sâu hay không.
Phát hiện nội dung AI là thuật ngữ chung cho một nhóm công nghệ xác định một cách máy móc nội dung được tạo bởi LLM và AI tạo hình ảnh. Các phương pháp chủ đạo là phân tích độ phức tạp và sai lệch từ vựng cho văn bản cũng như tính không tự nhiên trong miền tần số và các tạo tác GAN cho hình ảnh. Trong lĩnh vực âm thanh/video, khái niệm này trùng lặp với tính năng phát hiện deepfake.
Tính đến năm 2026, có hai cạm bẫy lớn nhất trong lĩnh vực này. 1) Tỷ lệ dương tính giả cao (xác định nhầm văn bản đã chỉnh sửa là tác phẩm của con người) (ngay cả với các công cụ thương mại, tỷ lệ thực tế là 10-30%) và 2) các mẫu mới nhất như GPT-4o và Claude 3.5 chậm bắt kịp, dễ dàng né tránh các máy dò hiện có. Quá tin tưởng rằng “phát hiện = an toàn” sẽ tạo ra rủi ro.
Giá thị trường dao động từ mã nguồn mở miễn phí (dựa trên RoBERTa) đến các API thương mại có giá hàng chục nghìn yên Nhật mỗi tháng. Khi ReviewAI điều tra các trường hợp triển khai của các công ty trong nước, người ta nhận thấy độ chính xác phát hiện văn bản tiếng Nhật có xu hướng thấp hơn từ 15 đến 20 điểm so với tiếng Anh và việc tinh chỉnh chuyên biệt cho tiếng Nhật gần như là điều cần thiết cho hoạt động thực tế. Các nguyên tắc lựa chọn bao gồm ưu tiên chi phí hoạt động để “tuân thủ các chính sách nội bộ” và đề xuất kết hợp với xác minh siêu dữ liệu C2PA và phân tích điều tra để “sử dụng bằng chứng pháp lý”.