IndexTTS-2

IndexTTS2 是一個突破性的自回歸零樣本文本轉語音（TTS）模型，旨在解決大規模 TTS 系統中精確持續時間控制的挑戰，這在視頻配音等應用中是一個重要的限制。此模型引入了一種新穎的、通用的語音持續時間控制方法，支持兩種模式：一種明確指明生成標記數量以實現精確的持續時間控制，另一種則以自回歸方式自由生成語音。此外，IndexTTS2 實現了情感表達與說話者身份的解耦，能夠通過單獨的提示獨立控制音色和情感。為了增強高度情感化表達中的語音清晰度，模型中整合了 GPT 潛在表徵並利用了一種新穎的三階段訓練範式。為了降低情感控制的門檻，它還具有基於文本描述的軟指令機制，通過微調 Qwen3 有效地引導以期望情感基調生成語音。實驗結果顯示，IndexTTS2 在多個數據集上，單詞錯誤率、說話者相似性和情感保真度方面均優於最先進的零樣本 TTS 模型。