[论文解读] Robust Blind Deconvolution via Mirror Descent

Sathya N. Ravi, Ronak Mehta+1 more|arXiv (Cornell University)|Mar 21, 2018

Sparse and Compressive Sensing Techniques参考文献 38被引用 3

一句话总结

该论文提出PRIDA，一种基于镜面下降的新型盲反卷积算法，实现了可证明的收敛性以及对噪声和扰动的鲁棒性。在标准基准测试中，该方法在噪声环境下尤其表现出色，同时通过在核空间上采用原子更新，保持了较低的每次迭代复杂度。

ABSTRACT

We revisit the Blind Deconvolution problem with a focus on understanding its robustness and convergence properties. Provable robustness to noise and other perturbations is receiving recent interest in vision, from obtaining immunity to adversarial attacks to assessing and describing failure modes of algorithms in mission critical applications. Further, many blind deconvolution methods based on deep architectures internally make use of or optimize the basic formulation, so a clearer understanding of how this sub-module behaves, when it can be solved, and what noise injection it can tolerate is a first order requirement. We derive new insights into the theoretical underpinnings of blind deconvolution. The algorithm that emerges has nice convergence guarantees and is provably robust in a sense we formalize in the paper. Interestingly, these technical results play out very well in practice, where on standard datasets our algorithm yields results competitive with or superior to the state of the art. Keywords: blind deconvolution, robust continuous optimization

研究动机与目标

• 开发一种在噪声和扰动下具备可证明收敛性和鲁棒性保证的盲反卷积算法。
• 解决基于总变差的盲反卷积方法在收敛性和鲁棒性方面缺乏理论理解的问题。
• 为评估基于深度学习的去模糊模型（尤其是在对抗性和关键任务场景下）提供一个基于第一性原理的基础。
• 设计一种高效的优化方案，通过在概率单纯形上使用原子更新，避免昂贵的投影操作。
• 在标准去模糊基准测试中，证明其在实际性能上优于当前最先进方法，尤其在噪声条件下表现更优。

提出的方法

• 该算法使用镜面下降，并以Kullback-Leibler（KL）散度作为Bregman散度，在模糊核的单纯形上进行优化。
• 将盲反卷积问题建模为一个非凸、非光滑的优化问题，包含总变差正则化项和数据保真项。
• 利用KL散度的强凸性，推导出目标函数的下界，从而实现收敛性保证。
• 采用坐标轴方向的核更新策略，随后进行归一化，实现O(s)的每次迭代复杂度，而非O(s log s)。
• 该算法从原始-对偶视角推导，其收敛性通过镜面下降框架的下降性质得到证明。
• 通过在观测图像中引入扰动的稳定性边界形式化鲁棒性，理论保证基于KL散度的性质推导得出。

实验结果

研究问题

• RQ1 能否设计一种具备可证明收敛性和对噪声与扰动鲁棒性的盲反卷积算法？
• RQ2 以KL散度作为Bregman散度的镜面下降方法，如何提升盲反卷积中的收敛性和稳定性？
• RQ3 能否在保持性能的前提下，将每次迭代的复杂度降低至O(s log s)以下？
• RQ4 在干净和噪声图像条件下，该算法与当前最先进方法相比表现如何？
• RQ5 基于第一性原理的理论保证在多大程度上能提升基于深度学习的去模糊流水线的可靠性？

主要发现

• PRIDA实现了可证明的收敛性和对噪声与扰动的鲁棒性，且无需超出标准图像先验的额外假设。
• 在标准基准测试中，PRIDA在干净条件下表现与最先进方法相当或更优，在噪声条件下显著优于现有方法。
• 该算法的每次迭代复杂度为O(s)，通过原子更新和归一化实现，避免了投影方法所需的昂贵排序操作。
• 理论分析表明，使用KL散度的镜面下降框架可确保强收敛性保证，其结果与优化领域中已知的最佳结果一致。
• 实验结果证实，PRIDA对对抗性噪声和真实世界模糊均具有强鲁棒性，适用于关键任务场景。
• 该方法实现高效，且已通过公开的GitHub仓库发布，支持集成到交互式去模糊流水线中。