[论文解读] Proximal Alternating Direction Network: A Globally Converged Deep Unrolling Framework

Risheng Liu, Xin Fan+3 more|arXiv (Cornell University)|Nov 21, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用 11

一句话总结

本文提出近端交替方向网络（PADNet），一种深度展开框架，将近端优化与可学习架构相结合，确保对变分能量函数的临界点实现全局收敛。与启发式深度网络不同，PADNet在温和条件下理论上保证收敛，同时支持灵活集成高效神经组件，即使任务先验信息部分已知亦可适用。

ABSTRACT

Deep learning models have gained great success in many real-world applications. However, most existing networks are typically designed in heuristic manners, thus lack of rigorous mathematical principles and derivations. Several recent studies build deep structures by unrolling a particular optimization model that involves task information. Unfortunately, due to the dynamic nature of network parameters, their resultant deep propagation networks do \emph{not} possess the nice convergence property as the original optimization scheme does. This paper provides a novel proximal unrolling framework to establish deep models by integrating experimentally verified network architectures and rich cues of the tasks. More importantly, we \emph{prove in theory} that 1) the propagation generated by our unrolled deep model globally converges to a critical-point of a given variational energy, and 2) the proposed framework is still able to learn priors from training data to generate a convergent propagation even when task information is only partially available. Indeed, these theoretical results are the best we can ask for, unless stronger assumptions are enforced. Extensive experiments on various real-world applications verify the theoretical convergence and demonstrate the effectiveness of designed deep models.

研究动机与目标

• 解决用于反问题的启发式深度学习模型缺乏理论收敛保证的问题。
• 开发一种继承优化算法收敛特性的深度网络架构，同时允许灵活且基于经验有效的神经组件集成。
• 在优化公式中仅提供部分任务信息（例如部分先验）时，仍能保证收敛。
• 将各种基于优化的深度网络统一于单一、理论基础坚实的框架下，且对保真项和正则化项的具体形式不敏感。

提出的方法

• 该框架将应用于通用变分能量最小化问题的近端交替方向法（ADMM）方案进行展开。
• 引入一种可学习的近端算子，结合原始优化模型的结构与可微神经模块。
• 采用三块ADMM公式化方法，通过变量分裂解耦保真项与正则化项，实现模块化设计。
• 通过展开近端ADMM的迭代步骤构建网络架构，其中每一层对应一次迭代，包含可学习参数。
• 通过类似李雅普诺夫的分析证明收敛性，表明在温和假设下（包括半代数能量函数），迭代序列收敛至临界点。
• 该框架允许在理论收敛保证下集成标准深度学习组件（如ReLU、BatchNorm），前提是其满足有界性和Lipschitz条件。

实验结果

研究问题

• RQ1 能否设计一种深度展开框架，即使在网络参数被学习的情况下，也能确保收敛至变分能量函数的临界点？
• RQ2 如何将灵活且在实践中有效的深度架构融入基于优化的深度网络，同时保持理论收敛性？
• RQ3 当训练过程中仅提供部分任务信息（如部分先验）时，收敛性是否仍能保证？
• RQ4 能否使该框架对能量函数中保真项和正则化项的具体函数形式不敏感？

主要发现

• 所提出的PADNet在温和假设下（包括半代数函数的Kurdyka-Łojasiewicz性质）保证收敛至变分能量函数的临界点。
• PADNet生成的网络输出序列构成柯西序列，确保收敛至不动点，即使在参数动态学习的情况下亦成立。
• 当正则化项未知或仅部分指定时，该框架仍保持收敛性，支持从数据中学习的同时保留理论保证。
• 在真实世界应用中的大量实验表明，该框架兼具理论收敛性与最先进性能，验证了其有效性。
• 理论分析表明，当ReLU和BatchNorm等标准深度学习组件满足有界性和Lipschitz条件时，收敛性仍可保持。