Kiểm duyệt nội dung (Moderation API) là cơ chế tự động phát hiện các văn bản, hình ảnh có hại, không phù hợp trong các dịch vụ AI và lọc chúng trước khi xuất bản.
API kiểm duyệt nội dung là thuật ngữ chung cho các API tự động xác định các danh mục như bạo lực, biểu hiện tình dục và lời nói căm thù có trong văn bản và hình ảnh, đồng thời trả về điểm và nhãn. Các ví dụ tiêu biểu bao gồm API kiểm duyệt của OpenAI và API phối cảnh của Google. Nó được tích hợp vào cả đầu vào và đầu ra của các dịch vụ AI thế hệ và được sử dụng rộng rãi để ngăn chặn việc xuất bản và lan truyền nội dung không phù hợp. Trong hoạt động thực tế kể từ năm 2026, sẽ khó có thể cân bằng giữa các kết quả dương tính giả và sơ suất với việc triển khai độc lập và người ta nói rằng tiêu chuẩn trong lĩnh vực này sẽ là sử dụng nó kết hợp với các quy tắc riêng phù hợp với đặc điểm của ngành và cộng đồng. Về chi phí, trả tiền khi bạn sử dụng là xu hướng phổ biến và giá cả khác nhau tùy thuộc vào quy mô lưu lượng truy cập, vì vậy, bắt đầu với API có cấp miễn phí và chuyển sang gói trả phí được coi là một lựa chọn thực tế. Sự khác biệt về độ chính xác trong hỗ trợ đa ngôn ngữ cũng là một điểm cần kiểm chứng trước khi triển khai.