[论文解读] PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Driven Adaptive Prior

Sang-gil Lee, Heeseung Kim+8 more|arXiv (Cornell University)|Jun 11, 2021

Music and Audio Processing参考文献 38被引用 12

一句话总结

PriorGrad 通过学习基于条件统计的、数据驱动的自适应先验，替代标准高斯先验，改进了条件去噪扩散模型。这使得在语音生成任务（如声码器建模）中，收敛速度更快，生成样本质量更高，且数据和参数效率更高。

ABSTRACT

Denoising diffusion probabilistic models have been recently proposed to generate high-quality samples by estimating the gradient of the data density. The framework assumes the prior noise as a standard Gaussian distribution, whereas the corresponding data distribution may be more complicated than the standard Gaussian distribution, which potentially introduces inefficiency in denoising the prior noise into the data sample because of the discrepancy between the data and the prior. In this paper, we propose PriorGrad to improve the efficiency of the conditional diffusion model (for example, a vocoder using a mel-spectrogram as the condition) by applying an adaptive prior derived from the data statistics based on the conditional information. We formulate the training and sampling procedures of PriorGrad and demonstrate the advantages of an adaptive prior through a theoretical analysis. Focusing on the audio domain, we consider the recently proposed diffusion-based audio generative models based on both the spectral and time domains and show that PriorGrad achieves a faster convergence leading to data and parameter efficiency and improved quality, and thereby demonstrating the efficiency of a data-driven adaptive prior.

研究动机与目标

• 为解决标准高斯先验与复杂数据分布之间的不匹配所导致的去噪扩散模型效率低下问题。
• 改进条件扩散模型中的收敛速度和样本质量，特别是在音频生成方面。
• 开发一种基于条件信息自适应调整先验分布的方法，利用数据统计实现更优的建模。

提出的方法

• 用基于输入上下文条件的数据统计学习得到的自适应先验，替代标准高斯先验。
• 制定 PriorGrad 的训练与采样过程，将自适应先验整合到去噪过程中。
• 利用条件信息（例如梅尔频谱图）在训练过程中估计自适应先验的均值和方差。
• 将自适应先验集成到去噪目标中，修改得分匹配损失以考虑学习到的先验。
• 将该方法应用于时域和频域的扩散模型音频生成模型以进行评估。
• 通过分析得分匹配目标和先验不匹配问题，证明自适应先验的理论优势。

实验结果

研究问题

• RQ1 将标准高斯先验替换为数据驱动的自适应先验，对条件扩散模型中的收敛速度有何影响？
• RQ2 自适应先验在音频生成中能在多大程度上提升样本质量与训练效率？
• RQ3 自适应先验是否能在扩散模型音频生成的不同架构和模态间实现泛化？

主要发现

• PriorGrad 在训练收敛速度上优于使用固定高斯先验的标准扩散模型。
• 自适应先验显著提升了样本质量，体现在音频生成的感知与客观指标上。
• 该方法提高了数据和参数效率，实现高质量生成所需的训练步数更少，所需数据更少。
• 理论分析表明，自适应先延减少了先验不匹配，优化了损失函数的结构。
• 实证结果表明，该方法在时域和频域扩散模型中均表现出一致的性能提升。
• 该方法在声码器应用中表现有效，证明了其在真实世界音频生成中的实用价值。