[论文解读] Solving Inverse Problems with Hybrid Deep Image Priors: the challenge of preventing overfitting

Zhaodong Sun, Sanchez, Thomas+2 more|arXiv (Cornell University)|Nov 3, 2020

Image and Signal Denoising Methods参考文献 37被引用 8

一句话总结

本文提出一种基于ADMM的混合深度图像先验方法，以缓解深度图像先验（DIP）在去噪和超分辨率等反问题中的过拟合问题。通过结合DIP与显式先验（如总变差）或隐式先验（如去噪算法），该方法稳定了优化过程，减少了对噪声的拟合，实现了更低的过拟ting和更优的重建效果，尤其在高噪声水平下表现更佳。

ABSTRACT

We mainly analyze and solve the overfitting problem of deep image prior (DIP). Deep image prior can solve inverse problems such as super-resolution, inpainting and denoising. The main advantage of DIP over other deep learning approaches is that it does not need access to a large dataset. However, due to the large number of parameters of the neural network and noisy data, DIP overfits to the noise in the image as the number of iterations grows. In the thesis, we use hybrid deep image priors to avoid overfitting. The hybrid priors are to combine DIP with an explicit prior such as total variation or with an implicit prior such as a denoising algorithm. We use the alternating direction method-of-multipliers (ADMM) to incorporate the new prior and try different forms of ADMM to avoid extra computation caused by the inner loop of ADMM steps. We also study the relation between the dynamics of gradient descent, and the overfitting phenomenon. The numerical results show the hybrid priors play an important role in preventing overfitting. Besides, we try to fit the image along some directions and find this method can reduce overfitting when the noise level is large. When the noise level is small, it does not considerably reduce the overfitting problem.

研究动机与目标

• 解决由于网络过参数化和噪声测量导致的深度图像先验（DIP）过拟合问题。
• 构建一种框架，将DIP与显式或隐式先验（如总变差、去噪算法）结合，以稳定优化过程。
• 在保持收敛性和重建质量的前提下，减少ADMM内层循环带来的计算开销。
• 研究梯度下降的动力学特性，以理解DIP中过拟合的根本原因。
• 探索沿主要奇异向量方向的拟合方法，以在高噪声水平下抑制噪声拟合。

提出的方法

• 将反问题建模为带有DIP输出和先验约束的约束优化问题，并使用ADMM进行交替最小化。
• 提出两种ADMM变体：DIP-ADMM-v1（含内层循环）和DIP-ADMM-v2（每步进行精确最小化），以降低计算成本。
• 通过在ADMM步骤中用去噪函数替代近端算子，将隐式先验（如去噪算法）集成到框架中。
• 利用测量矩阵的奇异值分解（SVD）将优化限制在最具信息量的方向上（前p个奇异向量）。
• 通过早停策略和方向性拟合控制过拟合，尤其在高噪声水平下效果显著。
• 利用DIP的雅可比矩阵分析梯度动力学，由于过参数化，将其视为近似恒定。

实验结果

研究问题

• RQ1 DIP的过拟合行为在PSNR曲线和重建图像质量方面如何表现？
• RQ2 将DIP与显式或隐式先验结合，能否显著减少反问题中的过拟合？
• RQ3 沿主要奇异向量方向的拟合如何影响过拟合，特别是在不同噪声水平下？
• RQ4 ADMM变体（v1与v2）之间的计算权衡如何？v2能否在避免内层循环的同时不损失性能？
• RQ5 梯度下降动力学（特别是DIP雅可比矩阵的奇异值）与过拟合发生的时间点有何关联？

主要发现

• 混合先验，尤其是与去噪算法结合时，能有效抑制DIP中的过拟合，PSNR曲线显示性能稳定或提升。
• DIP-ADMM-v2在重建质量和计算时间方面均优于DIP-ADMM-v1，通过精确最小化避免了内层循环。
• 沿前p个奇异向量的方向性拟合在高噪声水平下（如σ = 100）可减少过拟合，但在低噪声水平下（如σ = 25）益处有限。
• DIP的雅可比矩阵决定了在不同奇异向量方向上的拟合速度；当网络开始在低能量方向拟合噪声时，过拟合即发生。
• 当迭代次数超过信号分量被完全捕获的点后，过拟合最为明显，导致PSNR在初始峰值后下降。
• 使用预训练或学习得到的去噪器作为隐式先验，比依赖学习协方差和均值正则化的传统方法更具灵活性和效率。