[论文解读] WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis

Nanxin Chen, Yu Zhang+5 more|arXiv (Cornell University)|Jun 17, 2021

Speech Recognition and Synthesis参考文献 33被引用 5

一句话总结

WaveGrad 2 是一种非自回归、端到端的文本到语音模型，通过基于分数的迭代精炼，直接从音素序列生成高保真语音波形。通过训练一个分数网络，利用类似扩散的采样过程去除高斯噪声，实现生成速度与质量之间的自然权衡，通过可调节的精炼步数实现。其平均意见得分（MOS）达到 4.43，接近最先进系统。

ABSTRACT

This paper introduces WaveGrad 2, a non-autoregressive generative model for text-to-speech synthesis. WaveGrad 2 is trained to estimate the gradient of the log conditional density of the waveform given a phoneme sequence. The model takes an input phoneme sequence, and through an iterative refinement process, generates an audio waveform. This contrasts to the original WaveGrad vocoder which conditions on mel-spectrogram features, generated by a separate model. The iterative refinement process starts from Gaussian noise, and through a series of refinement steps (e.g., 50 steps), progressively recovers the audio sequence. WaveGrad 2 offers a natural way to trade-off between inference speed and sample quality, through adjusting the number of refinement steps. Experiments show that the model can generate high fidelity audio, approaching the performance of a state-of-the-art neural TTS system. We also report various ablation studies over different model configurations. Audio samples are available at https://wavegrad.github.io/v2.

研究动机与目标

• 开发一种完全端到端的文本到语音系统，避免使用人工设计的中间特征（如梅尔频谱图）。
• 通过可调节的精炼步数，实现高保真、非自回归的语音生成，并控制推理速度。
• 在不依赖辅助损失或对抗训练的前提下，解决文本到语音中的多对一映射问题。
• 通过架构创新（如时长感知编码和分数匹配）提升鲁棒性和质量。
• 评估数据增强和多任务学习在端到端文本到语音训练中的有效性。

提出的方法

• 使用分数匹配训练神经网络，以估计给定音素序列下波形对数似然的梯度。
• 采用从随机高斯噪声开始的迭代精炼过程，利用带有学习分数函数的朗之万动力学更新波形估计。
• 集成非自回归编码器与时长预测器，生成上下文感知表示，替代基于注意力的对齐机制。
• 应用重参数化技巧建模噪声调度，通过最小化预测噪声项与真实噪声项之间的 L1 距离实现训练。
• 使用具有可学习噪声调度的 WaveGrad 解码器，在多步内逐步去除信号噪声。
• 在训练过程中应用隐藏特征增强（对编码器表示进行掩码块丢弃），以提升模型鲁棒性。

实验结果

研究问题

• RQ1 非自回归文本到语音模型是否能在不使用中间频谱图特征的情况下生成高保真语音？
• RQ2 精炼步数的增加如何影响生成速度与音频质量之间的权衡？
• RQ3 结合梅尔频谱图预测的多任务学习是否能提升端到端文本到语音模型的性能？
• RQ4 隐藏表示增强（如掩码块丢弃）在提升模型鲁棒性方面的有效性如何？
• RQ5 模型规模与架构配置对主观语音质量的影响是什么？

主要发现

• WaveGrad 2 达到 4.43 的平均意见得分（MOS），接近最先进神经文本到语音系统的性能。
• 将精炼步数从 50 增加到 1000，MOS 从 4.32 提升至 4.37，表明存在清晰的速度-质量权衡。
• 与仅增大编码器规模相比，增大 WaveGrad 解码器规模（大模型）可显著提升 MOS（从 4.05 提升至 4.37）。
• 对隐藏表示应用类似 SpecAugment 的增强方法，MOS 从 4.37 提升至 4.40，表明鲁棒性得到改善。
• 结合梅尔频谱图预测的多任务学习未带来显著性能提升，表明其对端到端训练无明显益处。
• 模型性能对解码器容量最为敏感，而编码器规模对质量的边际影响较小。