IndexTTS-2

IndexTTS2 是一种突破性的自回归零次学习文本到语音 (TTS) 模型，旨在解决大规模 TTS 系统中精确时长控制的挑战，这是视频配音等应用中的一个显著限制。它引入了一种创新的通用方法来进行语音时长控制，支持两种模式：一种是明确指定生成 tokens 的数量以实现精确时长，另一种是在自回归方式中自由生成语音。此外，IndexTTS2 实现了情感表达和说话者身份之间的解耦，能够通过单独的提示独立控制音色和情感。为了增强高度情感表达中的语音清晰度，该模型结合了 GPT 潜在表示，并利用了一种新颖的三阶段训练范式。为了降低情感控制的门槛，它还结合了一种基于 Text 描述的软指令机制，通过微调 Qwen3 来有效引导生成具有所需情感语气的语音。实验结果表明，IndexTTS2 在字错误率、说话者相似性和情感保真度方面优于最先进的零次学习 TTS 模型，并在多个数据集上表现出色。