Speech LLM là một mô hình ngôn ngữ quy mô lớn có thể hiểu và tạo ra giọng nói một cách trực tiếp mà không cần thông qua chuyển đổi văn bản. Nó xử lý từ đầu đến cuối, bao gồm cảm xúc, giọng nói và nhịp điệu.
LLM lời nói là một kiến trúc mô hình xử lý giọng nói dưới dạng đầu vào và đầu ra gốc, không giống như quy trình ba giai đoạn thông thường là ASR (nhận dạng giọng nói) → xử lý văn bản → TTS (tổng hợp giọng nói). Các ví dụ điển hình bao gồm chế độ Âm thanh của GPT-4o, âm thanh thời gian thực của Gemini 2.0 Flash và EVI của Hume AI.
Cạm bẫy lớn nhất trong hoạt động thực tế vào năm 2026 là sự chênh lệch về độ chính xác của Nhật Bản. Mô hình dựa trên các quốc gia nói tiếng Anh còn yếu trong khả năng nhận dạng phương ngữ, cách nói và ngữ điệu cảm xúc, đồng thời đã có báo cáo về các trường hợp tại hiện trường với tỷ lệ nhận dạng sai 10-20% khi sử dụng trong các trung tâm cuộc gọi. Giá thị trường là khoảng 0,01 USD đến 0,06 USD mỗi phút âm thanh tính theo API, nhưng xin lưu ý rằng phản hồi theo thời gian thực yêu cầu chi phí cơ sở hạ tầng bổ sung để kết nối WebSocket liên tục.
Khi đánh giá ReviewAI, bạn nên phân biệt rõ ràng giữa "loại tương tác thời gian thực (yêu cầu độ trễ 200 mili giây trở xuống)" và "loại xử lý không đồng bộ" dựa trên cách sử dụng. Cái trước đủ để trả lời điện thoại tự động và giao diện người dùng bằng giọng nói, còn cái sau đủ để sao chép, tóm tắt và tạo biên bản cuộc họp, do đó chi phí có thể giảm đáng kể.