Sesame AI

AI agent bằng giọng nói vượt qua “thung lũng kỳ lạ” với nhịp điệu đàm thoại tự nhiên và biểu cảm đầy cảm xúc

Sesame AI là một AI agent bằng giọng nói dựa trên khái niệm "Sự hiện diện của giọng nói" trong cuộc đối thoại và đạt được những khoảng dừng và thay đổi giọng điệu giống con người theo cảm xúc. Nó khắc phục sự đơn điệu và phản ứng máy móc của trợ lý giọng nói truyền thống và mang lại trải nghiệm trò chuyện tự nhiên trong thời gian thực. Tương tác bằng giọng nói ngày càng được sử dụng nhiều trong các ứng dụng trong đó tương tác bằng giọng nói được liên kết trực tiếp với giá trị kinh doanh, chẳng hạn như phản hồi hỗ trợ khách hàng tự động, phát triển nguyên mẫu ứng dụng được trang bị giao diện người dùng bằng giọng nói và nền tảng học đàm thoại bằng tiếng Anh.

Các tính năng chính

Tổng hợp giọng nói với biểu hiện cảm xúc: Giọng điệu, khoảng dừng và ngữ điệu thay đổi tùy theo ngữ cảnh, tạo ra lời nói tự nhiên, không giống như chuyển văn bản thành giọng nói. Các nhân vật đồng hành `` Maya '' và '' Miles '' đã được phát hành dưới dạng bản demo.

Cuộc trò chuyện theo thời gian thực có độ trễ thấp: Được thiết kế để loại bỏ độ trễ phản hồi nhận thấy được, nó có thể được tích hợp vào giao diện người dùng phản hồi qua điện thoại hoặc cuộc trò chuyện trực tiếp. Giảm đáng kể độ trễ phản hồi 1-2 giây xảy ra trong cấu hình đường ống TTS+STT thông thường.

Nền tảng CSM (Mô hình lời nói hội thoại): Một mô hình độc đáo tích hợp văn bản và lời nói để tái tạo các đặc điểm lời nói duy nhất của con người, chẳng hạn như sự ngập ngừng và đồng ý ở cuối câu.

API/Được cung cấp cho nhà phát triển: Quyền truy cập được cung cấp cho những ai muốn kết hợp giao diện người dùng giọng nói vào các sản phẩm của riêng họ và hỗ trợ tích hợp vào các ứng dụng học tập và IVR nội bộ.

Biên bản xác minh của ban biên tập

Sau khi so sánh các bản demo có sẵn công khai, thông tin dành cho nhà phát triển và kế hoạch định giá của các sản phẩm cạnh tranh (ElevenLabs Conversational AI, OpenAI Realtime API, Hume AI), chúng tôi xác định rằng điểm khác biệt của Sesame AI nằm ở thiết kế CSM, chuyên về "tính tự nhiên của các cuộc hội thoại". Tiêu chuẩn ngành cho việc sử dụng đồng hành AI là khoảng $10 đến $15 mỗi tháng, nhưng Sesame giảm bớt những trở ngại khi giới thiệu bằng cách cho phép bạn bắt đầu thử nghiệm với bản demo miễn phí. Khi thay thế hoạt động của trung tâm cuộc gọi, người ta ước tính rằng bằng cách ủy quyền các câu trả lời Câu hỏi thường gặp, mất trung bình 3 phút cho mỗi trường hợp, để nói cho AI, có thể tiết kiệm khoảng 50 giờ công cho 1.000 trường hợp mỗi tháng. Nếu nó được tích hợp vào dịch vụ học đàm thoại tiếng Anh, ước tính chi phí nhân sự có thể giảm đáng kể từ 3.000 đến 5.000 yên Nhật cho mỗi buổi hướng dẫn.

Người dùng dự định

Nó phù hợp cho các kỹ sư đang phát triển sản phẩm của riêng họ với giao diện người dùng giọng nói, các công ty đang xem xét tự động hóa phản hồi chính tại các trung tâm cuộc gọi cũng như các nhà cung cấp dịch vụ giáo dục và hội thoại bằng tiếng Anh muốn có chất lượng giọng nói tự nhiên. Mặt khác, hiện tại nó không phù hợp với các ứng dụng ưu tiên chất lượng bản địa của tiếng Nhật hoặc cho các bộ phận phi kỹ thuật yêu cầu một trung tâm liên lạc SaaS hoàn chỉnh của Nhật Bản.

Một agent lồng tiếng AI bán hàng với nhịp điệu trò chuyện tự nhiên và biểu cảm cảm xúc phong phú. Tính năng tạm dừng và thay đổi âm điệu giống con người khiến nó trở nên khác biệt so với các AI giọng nói khác. Độ trễ trong các cuộc trò chuyện theo thời gian thực cũng ở mức thấp nhất. Có tính thực tế cao để hỗ trợ khách hàng phản hồi tự động và phát triển nguyên mẫu giao diện người dùng bằng giọng nói. Trong danh mục ElevenLabs/PlayHT, một trong những lựa chọn hàng đầu là ''sự tự nhiên của cuộc trò chuyện''.