[论文解读] Tweedie Moment Projected Diffusions For Inverse Problems

Benjamin Boys, Mark Girolami+4 more|arXiv (Cornell University)|Oct 10, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

本文提出了一种名为 Tweedie Moment Projected Diffusions (TMPD) 的新方法，通过利用 Tweedie 公式中的高阶矩来改进后验近似，从而利用扩散模型求解反问题。通过结合均值和协方差估计，TMPD 实现了统计上合理的、无需步长的采样方法，在样本质量与高斯设定下的理论最优性方面优于先前的方法。

ABSTRACT

Diffusion generative models unlock new possibilities for inverse problems as they allow for the incorporation of strong empirical priors in scientific inference. Recently, diffusion models are repurposed for solving inverse problems using Gaussian approximations to conditional densities of the reverse process via Tweedie's formula to parameterise the mean, complemented with various heuristics. To address various challenges arising from these approximations, we leverage higher order information using Tweedie's formula and obtain a statistically principled approximation. We further provide a theoretical guarantee specifically for posterior sampling which can lead to a better theoretical understanding of diffusion-based conditional sampling. Finally, we illustrate the empirical effectiveness of our approach for general linear inverse problems on toy synthetic examples as well as image restoration. We show that our method (i) removes any time-dependent step-size hyperparameters required by earlier methods, (ii) brings stability and better sample quality across multiple noise levels, (iii) is the only method that works in a stable way with variance exploding (VE) forward processes as opposed to earlier works.

研究动机与目标

• 解决扩散模型在反问题中后验采样不可行的问题。
• 改进先前依赖高斯近似和一阶矩 Tweedie 公式的启发式步长方法。
• 利用 Tweedie 公式通过均值和协方差实现后验得分的有原则的、高阶近似。
• 消除现有基于扩散的反问题求解器中常见的时变步长超参数。
• 在高斯与非高斯设定下，展示改进的样本质量与理论最优性。

提出的方法

• 该方法使用 Tweedie 公式计算扩散似然的一阶与二阶矩（均值与协方差），从而实现更精确的后验近似。
• 通过矩投影将估计的矩映射到扩散过程中，形成无需时间依赖超参数的基于得分的后验近似。
• 该方法利用高阶矩信息构建似然的梯度估计，并将其整合到现有扩散模型中。
• 为提升计算效率，引入了一种对角近似变体 DTMPD，同时保持关键性能提升。
• 该方法应用于带噪声的线性反问题，并在合成与真实图像恢复任务中使用预训练的扩散先验进行验证。
• 理论分析表明，在高斯数据分布下具有最优性，且在高斯情况下可精确恢复后验矩。

Figure 1: Error to target posterior for a Gaussian random field . (Top row) visualisation of the empirical mean and variance of the 1500 samples that were used to compute this error against the analytical moments. (Bottom) Wasserstein distances of different methods w.r.t. sample size. For details, s

实验结果

研究问题

• RQ1 Tweedie 公式提供的高阶矩信息是否能改进基于扩散的反问题中的后验近似？
• RQ2 引入协方差估计是否能提升样本质量并减少对启发式超参数的依赖？
• RQ3 所提方法在高斯数据分布下是否最优？其在统计效率方面与现有方法相比如何？
• RQ4 该方法能否推广至非高斯设定，如高斯混合分布与真实图像恢复任务？
• RQ5 移除时变步长超参数对后验采样性能与稳定性有何影响？

主要发现

• 在高斯随机场设定下，TMPD 实现了后验均值与方差的精确恢复，展示了统计最优性。
• 在 CIFAR-10 图像超分辨率任务中，采用 4× 双三次插值与 σ=0.05 噪声，TMPD 的 PSNR 达到 0.730±0.080，优于 ΠGDM（0.711±0.076）与 DPS（0.508±0.141）。
• 在使用 '半掩码' 的图像修复任务中，σ=0.05 噪声下，TMPD 的 PSNR 达到 0.714±0.092，显著优于 DPS（0.457±0.014）与 ΠGDM（0.429±0.077）。
• 在 2× 最近邻插值与 σ=0.1 噪声的超分辨率任务中，TMPD 的 PSNR 达到 0.633±0.144，优于 DPS（0.301±0.133）与 ΠGDM（0.519±0.113）。
• 在 σ=0.01 噪声的图像修复任务中，TMPD 的 PSNR 达到 0.789±0.111，显著优于 DPS（0.616±0.127）与 ΠGDM（0.668±0.101）。
• 该方法消除了对时变步长超参数调优的需求，其在不同噪声水平与任务中均表现出一致性能。

Figure 2: We display the first two dimensions of the GMM inverse problem for one of the measurement models tested ( ${\mathbf{H}},\sigma_{{\textnormal{y}}}=0.1,(d_{{\textnormal{x}}},d_{{\textnormal{y}}})=(80,1)$ ). The blue dots represent samples from the target posterior, while the red dots corresp