IndexTTS2 是一种突破性的自回归零次学习文本到语音 (TTS) 模型,旨在解决大规模 TTS 系统中精确时长控制的挑战,这是视频配音等应用中的一个显著限制。它引入了一种创新的通用方法来进行语音时长控制,支持两种模式:一种是明确指定生成 tokens 的数量以实现精确时长,另一种是在自回归方式中自由生成语音。此外,IndexTTS2 实现了情感表达和说话者身份之间的解耦,能够通过单独的提示独立控制音色和情感。为了增强高度情感表达中的语音清晰度,该模型结合了 GPT 潜在表示,并利用了一种新颖的三阶段训练范式。为了降低情感控制的门槛,它还结合了一种基于 Text 描述的软指令机制,通过微调 Qwen3 来有效引导生成具有所需情感语气的语音。实验结果表明,IndexTTS2 在字错误率、说话者相似性和情感保真度方面优于最先进的零次学习 TTS 模型,并在多个数据集上表现出色。...