[论文解读] On tuning consistent annealed sampling for denoising score matching

Joan Serrà, Santiago Pascual+1 more|arXiv (Cornell University)|Apr 8, 2021

Music and Audio Processing参考文献 11被引用 5

一句话总结

本文提出了一种用于得分模型中一致退火采样（CAS）的重参数化超参数公式，实现了在不同采样步数下稳定且可调的采样。通过使用 $\epsilon_c$ 参数化步长，使得 $\eta = 1 - \gamma^{\epsilon_c}$，该方法确保了步长在所有采样步数 $N$ 下均保持有界，从而在不同计算预算下提升了稳定性与性能，同时与现有采样方案保持一致。

ABSTRACT

Score-based generative models provide state-of-the-art quality for image and audio synthesis. Sampling from these models is performed iteratively, typically employing a discretized series of noise levels and a predefined scheme. In this note, we first overview three common sampling schemes for models trained with denoising score matching. Next, we focus on one of them, consistent annealed sampling, and study its hyper-parameter boundaries. We then highlight a possible formulation of such hyper-parameter that explicitly considers those boundaries and facilitates tuning when using few or a variable number of steps. Finally, we highlight some connections of the formulation with other sampling schemes.

研究动机与目标

• 解决在使用少量或可变采样步数时，一致退火采样（CAS）中超参数不稳定和泛化性差的问题。
• 通过引入显式尊重物理与数值边界的重参数化方法，消除步长超参数 $\epsilon_b$ 对采样步数 $N$ 的依赖。
• 通过将超参数调优与 $N$ 解耦，实现在不同计算预算下稳定且高质量的采样。
• 通过统一的超参数公式，建立 CAS 与其他采样方法（如 ALS 和预测-校正，PC 方法）之间的联系。

提出的方法

• 将步长 $\eta = \epsilon_b / \sigma_N^2$ 重参数化为 $\eta = 1 - \gamma^{\epsilon_c}$，其中 $\gamma$ 为噪声水平的几何级数因子，$\epsilon_c$ 为新的超参数。
• 推导出 $\eta$ 的边界以确保数值稳定性：$1 - \gamma \leq \eta \leq 1$，新公式可保持该边界。
• 引入 $\epsilon_c$ 作为可调超参数，控制步长相对于噪声调度的大小，从而在不同 $N$ 下实现一致行为。
• 证明特定 $\epsilon_c$ 值可恢复已知采样方案：$\epsilon_c = 2$ 恢复接近 ALS 的形式及 PC 方法的预测步骤，$\epsilon_c = 1$ 得到确定性去噪递归，$\epsilon_c \to \infty$ 得到纯噪声添加方案。
• 在最终步骤使用期望去噪样本 $H(\mathbf{x}, \sigma) = \mathbf{x} + \sigma^2 s_\theta(\mathbf{x}, \sigma)$ 以提升样本质量。
• 在语音合成模型上进行实证验证，表明 $\epsilon_c$ 在不同 $N$ 下比 $\epsilon_b$ 更稳定且泛化性更强。

实验结果

研究问题

• RQ1 如何对一致退火采样中超参数 $\epsilon_b$ 进行重参数化，以确保在可变采样步数下的稳定性？
• RQ2 为保持 CAS 中的数值与物理一致性，步长 $\eta$ 需要满足哪些约束？
• RQ3 所提出的公式 $\eta = 1 - \gamma^{\epsilon_c}$ 与 ALS 和预测-校正（PC）方法等现有采样方案有何关系？
• RQ4 单一超参数 $\epsilon_c$ 是否可在无需重新调优的情况下，实现在多种计算预算下的稳定且高质量采样？
• RQ5 最终去噪步骤 $H(\mathbf{x}, \sigma)$ 对 CAS 中的样本质量有何影响？

主要发现

• 所提出的公式 $\eta = 1 - \gamma^{\epsilon_c}$ 确保了对所有 $N$，步长均保持在稳定边界 $1 - \gamma \leq \eta \leq 1$ 内，避免了数值不稳定性。
• 与需为每个 $N$ 重新优化的 $\epsilon_b$ 相比，调优 $\epsilon_c$ 在不同采样步数 $N$ 下表现出更稳定且泛化性更强的性能。
• 当 $\epsilon_c = 2$ 时，CAS 递归形式与退火朗之万采样（ALS）及 PC 方法的预测步骤非常接近，仅在噪声项中存在微小缩放差异。
• $\epsilon_c = 1$ 对应完全确定性的去噪递归，而 $\epsilon_c \to \infty$ 对应完全随机更新与完整噪声注入的方案。
• 实证结果表明，使用 $\epsilon_c$ 的采样在小 $N$ 下仍保持稳定并获得高质量结果，而基于 $\epsilon_b$ 的调优在小 $N$ 时会失效。
• 该公式在广泛 $N$ 范围内实现一致性能，且在多个 $\epsilon_c$ 值下均可找到良好工作点，展现出强鲁棒性与泛化能力。