CosyVoice 2 是一个流式语音合成模型,基于一个大型语言模型,采用统一的流式/非流式框架设计。该模型通过有限标量量化(FSQ)增强了语音token码本的利用,简化了Text到语音语言模型的架构,并开发了一种块感知因果流式匹配模型,支持不同的合成场景。在流式模式下,模型实现了150毫秒的超低延迟,同时维持了与非流式模式几乎相同的合成质量。相比1.0版本,发音错误率降低了30%-50%,MOS分数从5.4提高到5.53,并支持对情感和方言的细粒度控制。该模型支持中文(包括方言:广东话、四川话、上海话、天津话等)、英文、日文、韩文,并支持跨语言和混合语言场景。...