[论文解读] PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Dependent Adaptive Prior

Sang-gil Lee, Heeseung Kim+8 more|arXiv (Cornell University)|Jun 11, 2021

Speech Recognition and Synthesis被引用 23

一句话总结

PriorGrad 通过用从条件输入（如梅尔频谱图或音素）导出的、与数据相关的自适应高斯先验替代标准高斯先验，改进了条件去噪扩散模型。通过从条件特征中计算实例级别的均值和方差，该方法加速了训练收敛，提升了感知质量，并增强了参数效率——在语音合成中得到验证，实现了更快的推理速度和对更小模型尺寸的鲁棒性。

ABSTRACT

Denoising diffusion probabilistic models have been recently proposed to generate high-quality samples by estimating the gradient of the data density. The framework defines the prior noise as a standard Gaussian distribution, whereas the corresponding data distribution may be more complicated than the standard Gaussian distribution, which potentially introduces inefficiency in denoising the prior noise into the data sample because of the discrepancy between the data and the prior. In this paper, we propose PriorGrad to improve the efficiency of the conditional diffusion model for speech synthesis (for example, a vocoder using a mel-spectrogram as the condition) by applying an adaptive prior derived from the data statistics based on the conditional information. We formulate the training and sampling procedures of PriorGrad and demonstrate the advantages of an adaptive prior through a theoretical analysis. Focusing on the speech synthesis domain, we consider the recently proposed diffusion-based speech generative models based on both the spectral and time domains and show that PriorGrad achieves faster convergence and inference with superior performance, leading to an improved perceptual quality and robustness to a smaller network capacity, and thereby demonstrating the efficiency of a data-dependent adaptive prior.

研究动机与目标

• 解决标准高斯先验与复杂数据分布之间不匹配导致的条件去噪扩散模型效率低下问题。
• 探究非标准、自适应先验是否能在不增加计算或参数成本的前提下提升模型性能。
• 改善扩散模型在有限模型容量下的训练收敛速度与推理速度，特别是在语音生成模型中。
• 证明自适应先验在频谱域与时域扩散模型中的有效性，用于语音合成。
• 通过提升参数效率和对模型尺寸缩减的鲁棒性，实现扩散模型的实际部署。

提出的方法

• 提出 PriorGrad 方法，在前向扩散过程中用与数据相关的自适应高斯先验替代标准高斯先验。
• 直接从条件输入特征（如梅尔频谱图帧或音素级嵌入）中计算先验分布的均值和方差，实现实例级别计算。
• 利用条件统计量定义非参数化、实例特定的先验，使其更匹配目标数据分布。
• 在不修改反向过程的前提下，将自适应先验集成到频谱域（声码器）和时域（声学模型）扩散模型中。
• 训练扩散模型从自适应先验去噪，从而减轻学习复杂反向轨迹的负担。
• 通过避免为先验估计引入额外参数或训练复杂度，保持计算效率。

实验结果

研究问题

• RQ1 用与数据相关的自适应先验替代标准高斯先验，能否提升条件扩散模型的训练效率？
• RQ2 从条件输入中导出的自适应先验如何影响语音合成中的收敛速度与样本质量？
• RQ3 当模型容量减少时，PriorGrad 的性能提升程度如何？
• RQ4 自适应先验是否能增强对噪声或复杂信号段（如浊音与清音语音）的鲁棒性？
• RQ5 该方法能否推广到语音合成以外的其他条件生成任务？

主要发现

• PriorGrad 实现了显著更快的训练收敛，感知质量更优的样本出现时间早于基线模型。
• 350万参数的 PriorGrad 模型在 30 万训练步时达到 4.08 ± 0.07 的 MOS 分数，优于 350万参数和 1000万参数的基线模型。
• 即使模型参数量减少 65%（从 1000万降至 350万），PriorGrad 仍保持与大尺寸基线模型近乎相同的感知质量，展现出强大的参数效率。
• 小型 PriorGrad 模型在 30 万步时达到 3.96 ± 0.07 的 MOS 分数，优于大尺寸基线模型（3.91 ± 0.09）和小尺寸基线模型（4.00 ± 0.08），表明训练动态得到改善。
• PriorGrad 减少了对大模型容量的依赖，使扩散模型在实际部署中更具可行性。
• 该方法在频谱域（声码器）和时域（声学模型）扩散模型中均表现出一致改进，证实了其广泛适用性。