[论文解读] Total Deep Variation: A Stable Regularizer for Inverse Problems

Erich Kobler, Alexander Effland+2 more|arXiv (Cornell University)|Jun 15, 2020

Medical Imaging Techniques and Applications参考文献 55被引用 12

一句话总结

本文提出了全深度变化（Total Deep Variation, TDV），一种数据驱动的正则化方法，将深度卷积神经网络与变分逆问题框架相结合。通过在深度架构中学习多尺度局部特征，TDV 在图像去噪、超分辨率和医学成像重建任务中均实现了最先进性能，同时通过紧致的理论边界实现了严格的稳定性与泛化性分析。

ABSTRACT

Various problems in computer vision and medical imaging can be cast as inverse problems. A frequent method for solving inverse problems is the variational approach, which amounts to minimizing an energy composed of a data fidelity term and a regularizer. Classically, handcrafted regularizers are used, which are commonly outperformed by state-of-the-art deep learning approaches. In this work, we combine the variational formulation of inverse problems with deep learning by introducing the data-driven general-purpose total deep variation regularizer. In its core, a convolutional neural network extracts local features on multiple scales and in successive blocks. This combination allows for a rigorous mathematical analysis including an optimal control formulation of the training problem in a mean-field setting and a stability analysis with respect to the initial values and the parameters of the regularizer. In addition, we experimentally verify the robustness against adversarial attacks and numerically derive upper bounds for the generalization error. Finally, we achieve state-of-the-art results for numerous imaging tasks.

研究动机与目标

• 开发一种通用的、数据驱动的正则化方法，使其在图像去噪和超分辨率等逆问题中优于经典手工设计的正则化方法。
• 在保持通过MAP推断和最优控制公式实现可解释性的同时，将深度学习整合到变分框架中。
• 通过Lipschitz连续性与泛化误差界等严格分析，确保对对抗攻击的理论稳定性与鲁棒性。
• 在无需微调的情况下，实现跨多种线性逆问题（如CT和MRI重建）的可迁移性。
• 利用基于分位数的最坏情况分析，推导出泛化误差的紧致上界，基于正则化能量。

提出的方法

• 设计一种深度残差网络架构，从图像块中提取多尺度局部特征，以形成学习得到的正则化项，其灵感来源于现代CNN设计范式。
• 将正则化项的训练表述为均场设置下的最优控制问题，从而实现具有理论收敛保证的基于梯度的优化。
• 引入非线性特征函数分析，以理解正则化项在不同图像结构下的行为。
• 采用二次障碍法求解泛化误差界的最坏情况优化问题，结合Nesterov加速梯度法与回溯策略。
• 构建一个变分能量泛函，结合数据保真项与TDV正则化项，通过带有学习到的去噪算子的邻近算法进行最小化。
• 使用隐式微分与展开技术，以判别式方式训练网络，从而在生成预训练的基础上进一步提升性能。

实验结果

研究问题

• RQ1 能否在保持数学可解释性与稳定性的前提下，将深度神经网络嵌入变分逆问题框架中作为正则化项？
• RQ2 如何在基于深度学习的逆问题中对对抗鲁棒性进行理论分析并建立边界？
• RQ3 正则化能量与泛化误差之间存在何种关系？能否推导出紧致的上界？
• RQ4 单一训练好的TDV正则化项是否能在无需微调的情况下泛化至多个逆问题（如去噪、超分辨率、CT、MRI）？
• RQ5 与现有基于深度学习的求解器相比，该方法是否在参数量更少的情况下仍能达到最先进性能？

主要发现

• TDV在图像去噪与单图像超分辨率任务中实现了最先进性能，且可训练参数数量极为稀少。
• 该方法对对抗攻击表现出强鲁棒性，其理论稳定性边界由解映射的局部Lipschitz常数推导得出。
• 通过基于分位数的最坏情况分析，推导出泛化误差的上界，表明该边界随正则化能量水平的升高而略有增加。
• 在泛化误差分析中识别出的最坏情况真实图像块呈现出高振荡模式与棋盘状伪影，证实了边界的保守性。
• TDV无需微调即可有效泛化至CT与MRI重建等具有挑战性的医学成像任务，凸显其可迁移性。
• 通过最优控制与均场公式的理论分析，实现了对正则化项训练动态与收敛性质的严格理解。