[论文解读] Removing Structured Noise with Diffusion Models

Tristan S. W. Stevens, van Gorp, Hans+5 more|arXiv (Cornell University)|Jan 20, 2023

Model Reduction and Neural Networks被引用 9

一句话总结

论文提出一个联合后验扩散框架，使用两个分数网络同时对信号和结构化噪声建模，从而实现基于扩散的后验采样以去除逆问题中的结构化噪声，并在基线 NF/GAN 上取得更好表现。

ABSTRACT

Solving ill-posed inverse problems requires careful formulation of prior beliefs over the signals of interest and an accurate description of their manifestation into noisy measurements. Handcrafted signal priors based on e.g. sparsity are increasingly replaced by data-driven deep generative models, and several groups have recently shown that state-of-the-art score-based diffusion models yield particularly strong performance and flexibility. In this paper, we show that the powerful paradigm of posterior sampling with diffusion models can be extended to include rich, structured, noise models. To that end, we propose a joint conditional reverse diffusion process with learned scores for the noise and signal-generating distribution. We demonstrate strong performance gains across various inverse problems with structured noise, outperforming competitive baselines that use normalizing flows and adversarial networks. This opens up new opportunities and relevant practical applications of diffusion modeling for inverse problems in the context of non-Gaussian measurement models.

研究动机与目标

• 用数据驱动先验通过扩散模型来解决病态逆问题的动机。
• 将后验采样推广到处理测量过程中的结构化、非高斯噪声。
• 引入一个具有信号和噪声分离分数模型的联合扩散框架。
• 提供与扩散采样兼容的逆问题数据一致性策略。
• 证明相对于有竞争力的基线的鲁棒性和性能提升。

提出的方法

• 提出一个联合条件反向扩散过程，含有两个分数网络：s_theta 用于信号 X，s_phi 用于结构化噪声 N。
• 通过对各自数据进行去噪分数匹配来训练这两个分数模型，以逼近 p(X_t) 和 p(N_t) 的分数函数。
• 通过联合后验 p(X,N|Y) 将观测模型 Y = AX + N 纳入其中，并推导 X 和 N 的梯度，使其结合先验与带有贝叶斯权重的数据项。
• 采用数据一致性规则（Pi GDM、DPS 和投影）将难以处理的 p(Y|X_t,N_t) 近似为时间变化参数的高斯分布。
• 使用改编的 Euler-Maruyama 采样器（以及 ALD、概率流 ODE、或 Predictor-Corrector 等替代方案）从联合后验中生成样本。
• 在分离数据集（数据和结构化噪声）上进行两阶段扩散训练，并在单一统一的采样循环中进行推断。

实验结果

研究问题

• RQ1 扩散模型是否可以通过为信号和噪声学习分离先验来扩展以处理结构化噪声？
• RQ2 与正则化流和 GAN 相比，联合扩散采样是否提高了对非高斯、结构化噪声的逆问题的恢复？
• RQ3 不同的数据一致性规则（Pi GDM、DPS、投影）在结构化噪声逆问题中的性能如何影响？
• RQ4 扩散式联合后验采样器对分布外信号和噪声是否鲁棒？

主要发现

• 对结构化噪声任务，具有分离噪声和信号分数模型的联合扩散在性能上显著优于 NF 和 GAN 基线。
• 该框架支持多种数据一致性策略（Pi GDM、DPS、投影），并且与标准扩散采样器保持兼容。
• 训练可以重复使用用于数据和噪声的预训练分数模型，便于对新任务的灵活适配。
• 在对分布外的信号和噪声类型的鲁棒性方面，该方法优于基线。
• 该方法实现了后验采样而非点估计，能够在重建中保留不确定性信息。