Kiểm soát ngữ điệu là công nghệ kiểm soát cao độ, nhịp điệu, giọng nói, ngữ điệu và tốc độ nói trong quá trình tổng hợp giọng nói bằng AI để tạo ra lời nói tự nhiên và giàu cảm xúc.
Kiểm soát giai điệu đề cập đến một lĩnh vực kỹ thuật điều khiển theo chương trình các đặc điểm giai điệu của giọng nói - cao độ (tần số cơ bản), nhịp điệu, tốc độ giọng nói, động lực và tạm dừng - trong TTS (chuyển đổi văn bản sang giọng nói) và hệ thống tổng hợp giọng nói. Các mô hình giai điệu trong lời nói của con người rất khác nhau tùy thuộc vào cảm xúc và bối cảnh, ngay cả trong cùng một câu, vì vậy sự hợp tác giữa các mô hình ngôn ngữ và mô hình giai điệu là điều cần thiết để tạo ra lời nói tự nhiên.
Trong những năm gần đây, SSTI (Tổng hợp giọng nói với hướng dẫn văn bản), cho phép người dùng kiểm soát những thứ như ``giọng giận dữ'' và ``chậm rãi'' thông qua lời nhắc, đã trở nên phổ biến và các công cụ được sử dụng trong lĩnh vực này, chẳng hạn như VOICEVOX và Resemble AI, cũng có các thông số nhịp điệu riêng. Tuy nhiên, chất lượng đầu ra của API thay đổi rất nhiều tùy thuộc vào ngôn ngữ và việc kiểm soát vị trí của lõi giọng Nhật là đặc biệt khó khăn. Vẫn sẽ có vấn đề về độ chính xác của việc tự động chuyển đổi giữa ngôn ngữ tiêu chuẩn và phương ngữ ngay cả vào năm 2026.
Một nhược điểm trong sử dụng thực tế là ngay cả với cùng một mô hình, nhịp điệu có thể thay đổi đáng kể tùy thuộc vào vị trí dấu câu và ngắt dòng của văn bản đầu vào. Giá thị trường cho các API thương mại dao động từ vài nghìn yên Nhật đến vài chục nghìn yên Nhật mỗi tháng, nhưng các tùy chọn cho dịch vụ chuyên kiểm soát nhịp điệu tiếng Nhật chất lượng cao còn hạn chế và các lựa chọn có xu hướng hoạt động tại địa phương như VOICEVOX hoặc các gói trả phí cho Resemble AI. Thông lệ tiêu chuẩn tại hiện trường là so sánh trước các ngôn ngữ được hỗ trợ và phạm vi biểu đạt cảm xúc của từng công cụ có thể được kiểm tra trên ReviewAI và chọn ngôn ngữ phù hợp với mục đích (lời tường thuật, giọng nói nhân vật, hỗ trợ trung tâm cuộc gọi).