[论文解读] SNIPS: Solving Noisy Inverse Problems Stochastically

Bahjat Kawar, Gregory Vaksman+1 more|arXiv (Cornell University)|May 31, 2021

Sparse and Compressive Sensing Techniques参考文献 59被引用 7

一句话总结

SNIPS 提出了一种随机采样算法，通过结合朗之万动力学与牛顿法，并利用预训练的 MMSE 高斯去噪器，从噪声线性反问题的后验分布中提取高质量、多样化的样本。该方法利用退化算子的奇异值分解（SVD）推导出可处理的后验得分函数，从而在去模糊、超分辨率和压缩感知任务中实现清晰、感知准确的重建。

ABSTRACT

In this work we introduce a novel stochastic algorithm dubbed SNIPS, which draws samples from the posterior distribution of any linear inverse problem, where the observation is assumed to be contaminated by additive white Gaussian noise. Our solution incorporates ideas from Langevin dynamics and Newton's method, and exploits a pre-trained minimum mean squared error (MMSE) Gaussian denoiser. The proposed approach relies on an intricate derivation of the posterior score function that includes a singular value decomposition (SVD) of the degradation operator, in order to obtain a tractable iterative algorithm for the desired sampling. Due to its stochasticity, the algorithm can produce multiple high perceptual quality samples for the same noisy observation. We demonstrate the abilities of the proposed paradigm for image deblurring, super-resolution, and compressive sensing. We show that the samples produced are sharp, detailed and consistent with the given measurements, and their diversity exposes the inherent uncertainty in the inverse problem being solved.

研究动机与目标

• 解决基于均方误差（MSE）的方法在病态反问题中产生泛白、细节不足重建结果的局限性。
• 克服在测量值受加性白高斯噪声污染的噪声线性反问题中从后验分布采样的挑战。
• 将先前仅限于无噪声情况的朗之万基采样方法推广至处理现实中的噪声观测。
• 实现多样、感知质量高的样本，以反映病态反问题中固有的不确定性。
• 将预训练的 MMSE 去噪器整合进随机采样框架，以提升样本保真度与多样性。

提出的方法

• 利用退化算子 H 的奇异值分解（SVD），将反问题的后验得分函数形式化，以解耦信号分量。
• 通过利用去噪器对扰动的敏感性及其与信号奇异值的关系，推导出后验得分的可处理近似。
• 通过使用基于后对数似然的 Hessian 矩阵导出的位置相关步长矩阵，将朗之万动力学与牛顿型更新相结合。
• 通过去噪器的雅可比矩阵与奇异值分解近似后对数似然的 Hessian 矩阵，实现高效且稳定的采样。
• 采用负 Hessian 矩阵的对角近似，以每信号分量为单位定义自适应步长，提升收敛性与稳定性。
• 在朗之万更新中将去噪器作为得分校正器，确保与数据的一致性，同时保持感知质量。

实验结果

研究问题

• RQ1 朗之万采样能否有效扩展至具有加性白高斯噪声的噪声线性反问题？
• RQ2 当退化算子 H 复杂且存在噪声观测时，如何以可处理的方式推导后验得分函数？
• RQ3 H 的奇异值分解（SVD）在实现后验分布的稳定高效采样中起到何种作用？
• RQ4 如何将预训练的 MMSE 去噪器整合进随机采样框架，以提升样本质量与多样性？
• RQ5 与最小化 MSE 的方法相比，该方法在感知质量与不确定性表征方面优越程度如何？

主要发现

• SNIPS 即使在严重退化观测下，也能成功从后验分布生成多个高感知质量的样本，证明了其捕捉不确定性的能力。
• 生成的样本清晰、细节丰富，且与噪声测量一致，其视觉质量优于标准 MMSE 重建结果。
• 使用基于 Hessian 矩阵导出的位置相关步长矩阵，相比均匀步长，显著提升了收敛性与稳定性。
• 该方法在图像去模糊、超分辨率与压缩感知任务中实现了最先进的感知质量，且对任务特定训练的依赖极低。
• 即使在高噪声水平下，该算法仍保持稳定与高效，而传统 MSE 基方法往往无法保留细节。
• 将预训练去噪器整合进采样循环，无需微调即可实现高保真结果，使该方法具备实用性与高效性。