[论文解读] Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models

Litu Rout, Negin Raoof+4 more|arXiv (Cornell University)|Jul 2, 2023

Advanced Neuroimaging Techniques and Applications被引用 5

一句话总结

该论文提出了后验采样潜扩散模型（PSLD），这是首个在无需微调预训练潜扩散模型的情况下解决线性逆问题的框架。通过在DPS算法基础上增加一个梯度更新步骤，以在VAE瓶颈中保持重建保真度，PSLD在多种修复任务（包括图像修复、去噪、去模糊、超分辨率和去条带化）中实现了可证明的样本恢复和最先进性能，优于以往方法在定性和定量指标上的表现。

ABSTRACT

We present the first framework to solve linear inverse problems leveraging pre-trained latent diffusion models. Previously proposed algorithms (such as DPS and DDRM) only apply to pixel-space diffusion models. We theoretically analyze our algorithm showing provable sample recovery in a linear model setting. The algorithmic insight obtained from our analysis extends to more general settings often considered in practice. Experimentally, we outperform previously proposed posterior sampling algorithms in a wide variety of problems including random inpainting, block inpainting, denoising, deblurring, destriping, and super-resolution.

研究动机与目标

• 为现有逆问题求解器无法利用如Stable Diffusion等预训练潜扩散模型这一空白提供解决方案。
• 开发一种方法，使潜扩散模型可用于线性逆问题的后验采样，避免特定任务的微调。
• 对算法进行理论分析，在线性模型设定下建立两步扩散过程中可证明的样本恢复。
• 通过实证方法在多种逆问题（包括图像修复、去噪、去模糊、超分辨率和去条带化）中展示最先进性能。

提出的方法

• 通过引入额外的梯度更新步骤扩展DPS算法，引导扩散过程采样出在编码器-解码器映射下近似为恒等映射的潜在变量。
• 采用粘合目标函数，利用VAE的编码器和解码器最小化潜在空间中的重建误差，确保采样潜在变量可被准确重建。
• 应用改进的反向SDE，同时结合预训练潜扩散模型的无条件得分函数和由线性退化算子导出的测量一致性项。
• 采用两步扩散过程：首先在潜在空间中使用改进的反向SDE进行采样，然后解码至像素空间，粘合目标确保重建保真度。
• 该方法完全在预训练模型的潜在空间内运行，无需微调或重新训练。
• 理论分析证明在线性模型设定下可实现样本恢复，收敛性保证基于得分生成模型的非渐近分析得出。

实验结果

研究问题

• RQ1 是否可以使用潜扩散模型的后验采样在不微调生成模型的情况下求解线性逆问题？
• RQ2 在逆问题的后验采样过程中，如何保持潜扩散模型的重建保真度？
• RQ3 在线性逆问题设定下，对潜扩散模型的后验采样可建立何种理论保证？
• RQ4 所提出的方法是否能在多种逆问题中超越现有后验采样算法（如DPS和DDRM）？
• RQ5 在潜在空间中引入粘合目标如何提升重建质量，相较于标准后验采样？

主要发现

• 在FFHQ 256验证集的随机图像修复任务中，PSLD实现30.31的PSNR和0.851的SSIM，显著优于DPS（25.23 PSNR，0.851 SSIM）。
• 在4倍超分辨率任务中，PSLD实现30.73 PSNR和0.867 SSIM，优于DPS（25.67 PSNR，0.852 SSIM）和DDRM（25.36 PSNR，0.835 SSIM）。
• 在分布外ImageNet样本的高斯去模糊任务中，PSLD实现30.10 PSNR和0.843 SSIM，优于DPS的24.25 PSNR和0.811 SSIM。
• 在运动去模糊任务中，PSLD将LPIPS从DPS的0.613降低至0.244，表明感知质量更优。
• 在去条带化任务中，PSLD实现0.244（水平）和0.255（垂直）的LPIPS，分别优于DPS的0.613和0.597。
• 理论分析证实，在线性模型设定下使用两步扩散过程可实现可证明的样本恢复，且在有界得分估计误差下具备收敛性。