[论文解读] ResGrad: Residual Denoising Diffusion Probabilistic Models for Text to Speech

Zehua Chen, Yihan Wu+10 more|arXiv (Cornell University)|Dec 30, 2022

Speech Recognition and Synthesis被引用 5

一句话总结

ResGrad 提出了一种轻量级的残差去噪扩散模型，通过学习现有 TTS 模型（如 FastSpeech 2）输出与真实 mel-spectrogram 之间的残差，提升文本到语音合成的质量，实现显著更快的推理速度——相比基线扩散方法实现超过 10 倍的加速，同时保持或提升生成样本的质量。

ABSTRACT

Denoising Diffusion Probabilistic Models (DDPMs) are emerging in text-to-speech (TTS) synthesis because of their strong capability of generating high-fidelity samples. However, their iterative refinement process in high-dimensional data space results in slow inference speed, which restricts their application in real-time systems. Previous works have explored speeding up by minimizing the number of inference steps but at the cost of sample quality. In this work, to improve the inference speed for DDPM-based TTS model while achieving high sample quality, we propose ResGrad, a lightweight diffusion model which learns to refine the output spectrogram of an existing TTS model (e.g., FastSpeech 2) by predicting the residual between the model output and the corresponding ground-truth speech. ResGrad has several advantages: 1) Compare with other acceleration methods for DDPM which need to synthesize speech from scratch, ResGrad reduces the complexity of task by changing the generation target from ground-truth mel-spectrogram to the residual, resulting into a more lightweight model and thus a smaller real-time factor. 2) ResGrad is employed in the inference process of the existing TTS model in a plug-and-play way, without re-training this model. We verify ResGrad on the single-speaker dataset LJSpeech and two more challenging datasets with multiple speakers (LibriTTS) and high sampling rate (VCTK). Experimental results show that in comparison with other speed-up methods of DDPMs: 1) ResGrad achieves better sample quality with the same inference speed measured by real-time factor; 2) with similar speech quality, ResGrad synthesizes speech faster than baseline methods by more than 10 times. Audio samples are available at https://resgrad1.github.io/.

研究动机与目标

• 解决去噪扩散概率模型（DDPMs）在文本到语音（TTS）合成中推理速度慢的问题，该问题限制了其在实时场景中的部署。
• 通过将生成目标从原始语音转移至 TTS 模型输出与真实值之间的残差，降低 DDPMs 所需建模的数据空间复杂度。
• 实现与现有 TTS 模型的即插即用集成，无需重新训练基础模型，同时提升样本质量并最小化计算开销。
• 通过在残差数据上训练轻量级扩散模型，实现高保真语音生成，并保持极低的实时因子。

提出的方法

• 训练一个名为 ResGrad 的扩散模型，用于预测由现有 TTS 模型（如 FastSpeech 2）生成的 mel-spectrogram 与对应真实 mel-spectrogram 之间的残差差异。
• 采用基于 U-Net 的轻量级架构，结合残差卷积和跳跃连接，高效建模残差空间。
• 在推理阶段，将 ResGrad 输出的去噪残差加到原始 TTS 模型的 mel-spectrogram 上，以优化最终的频谱图。
• 采用去噪扩散过程，仅使用少量采样步数（如 4–50），从噪声中生成干净的残差信号，从而实现快速推理。
• 利用残差空间比完整 mel-spectrogram 空间更简单的事实，使更小的模型和更少的步数也能实现高质量结果。
• 通过即插即用的设计确保与任何现有 TTS 模型兼容，无需对基础 TTS 系统进行重新训练。

实验结果

研究问题

• RQ1 建模 TTS 模型输出与真实 mel-spectrogram 之间的残差，是否能降低扩散建模的复杂度并加速推理？
• RQ2 在相同推理速度下，基于残差数据训练的轻量级扩散模型是否能实现比全频谱扩散模型更高的样本质量？
• RQ3 ResGrad 是否能有效应用于多种 TTS 数据集，包括单说话人、多说话人以及高采样率设置？
• RQ4 与现有基于残差的模型（如 ResUNet）相比，ResGrad 在模型大小、推理速度和语音质量方面表现如何？
• RQ5 残差学习方法在降低实时因子的同时，是否能维持或提升主观质量（如 CMOS）？

主要发现

• 在相同实时因子（RTF）下，ResGrad 的样本质量优于基线加速方法，LJ Speech 的 CMOS 得分为 0.00，LibriTTS 的 CMOS 得分为 0.00，优于其他在相同推理速度下的方法。
• 在相似语音质量（CMOS ≈ 0.00）下，ResGrad 相比基线扩散模型将推理时间减少了 10 倍以上，LibriTTS 的 RTF 为 0.223，VCTK 的 RTF 为 0.244。
• ResGrad 模型参数量仅为 2.03M，远小于 ResUNet 的 31.8M，同时实现更优的 CMOS 表现，证明其在效率与效果上的卓越性。
• 案例研究显示，ResGrad 生成的 mel-spectrogram 比 FastSpeech 2 具有更丰富的频率分量，后者存在过度平滑问题，导致 ResGrad 生成的语音更具表现力和自然感。
• 即使使用更大的扩散模型（ResGrad-L，7.68M 参数），性能提升也微乎其微，表明在采用残差学习时，模型大小对性能的影响有限。
• 仅使用 4 步采样步骤的推理过程即可生成主观上清晰的残差信号，表明由于残差空间复杂度降低，极少数步数即可实现高质量结果。