[论文解读] Nonlinear Power Method for Computing Eigenvectors of Proximal Operators and Neural Networks

Leon Bungert, Ester Hait-Fraenkel+2 more|arXiv (Cornell University)|Mar 10, 2020

Sparse and Compressive Sensing Techniques参考文献 75被引用 10

一句话总结

本文提出一种非线性幂法，用于计算近邻算子和深度神经网络的特征向量，证明了一致齐次近邻算子的收敛性，并提出一种改进方法以适用于一般去噪网络。关键结果表明，特征向量揭示了稳定/不稳定模式：DnCNN倾向于产生水平条纹，FFDnet则表现出平滑行为，为理解网络行为与鲁棒性提供了洞见。

ABSTRACT

Neural networks have revolutionized the field of data science, yielding remarkable solutions in a data-driven manner. For instance, in the field of mathematical imaging, they have surpassed traditional methods based on convex regularization. However, a fundamental theory supporting the practical applications is still in the early stages of development. We take a fresh look at neural networks and examine them via nonlinear eigenvalue analysis. The field of nonlinear spectral theory is still emerging, providing insights about nonlinear operators and systems. In this paper we view a neural network as a complex nonlinear operator and attempt to find its nonlinear eigenvectors. We first discuss the existence of such eigenvectors and analyze the kernel of ReLU networks. Then we study a nonlinear power method for generic nonlinear operators. For proximal operators associated to absolutely one-homogeneous convex regularization functionals, we can prove convergence of the method to an eigenvector of the proximal operator. This motivates us to apply a nonlinear method to networks which are trained to act similarly as a proximal operator. In order to take the non-homogeneity of neural networks into account we define a modified version of the power method. We perform extensive experiments for different proximal operators and on various shallow and deep neural networks designed for image denoising. Proximal eigenvectors will be used for geometric analysis of graphs, as clustering or the computation of distance functions. For simple neural nets, we observe the influence of training data on the eigenvectors. For state-of-the-art denoising networks, we show that eigenvectors can be interpreted as (un)stable modes of the network, when contaminated with noise or other degradations.

研究动机与目标

• 开发一种用于计算一般非线性算子（特别是近邻算子与去噪神经网络）特征向量的非线性幂法。
• 严格分析非线性幂法在一致齐次近邻算子上的收敛性。
• 通过引入改进的幂迭代方案，将该方法推广至非齐次神经网络。
• 将计算得到的特征向量解释为（不）稳定模式，揭示去噪网络的结构偏好与鲁棒性。
• 展示特征向量在几何分析中的实用性，例如图聚类与距离函数计算。

提出的方法

• 通过将算子迭代应用于归一化向量，将经典线性幂法推广至非线性算子。
• 利用谱理论与次梯度分析，证明一致齐次凸泛函相关近邻算子的非线性幂法收敛性。
• 针对非齐次神经网络提出改进的幂法，以考虑特定领域行为并避免发散。
• 通过网络的迭代应用近似特征向量，将主导特征值视为渐近增长速率。
• 将该方法应用于浅层与深层去噪网络（如FFDnet、DnCNN），并通过视觉与定量比较分析所得特征向量。
• 通过对比输入与输出差异，并在不同噪声模式下测量干净图像与去噪图像之间的MSE，验证结果。

实验结果

研究问题

• RQ1 非线性幂法能否在一致齐次泛函的近邻算子上严格证明收敛？
• RQ2 如何将幂法推广至非齐次、高度非线性的神经网络，其中理论收敛性尚未证明？
• RQ3 计算得到的特征向量揭示了训练后去噪网络的结构偏好与鲁棒性为何？
• RQ4 特征向量如何与图像去噪网络在噪声或退化条件下的稳定与不稳定模式相关联？
• RQ5 近邻特征向量能否有效用于图聚类与距离函数计算等几何任务？

主要发现

• 通过谱分析与次梯度性质，证明非线性幂法可收敛至一致齐次泛函相关近邻算子的特征向量。
• 对于FFDnet，特征向量计算揭示了强烈的平滑行为，对平滑或结构化输入的变化极小。
• DnCNN表现出对水平条纹的偏好，表现为单次去噪后输入与输出近乎共线，且在水平条纹图像上MSE极低。
• 对平滑图像进行迭代去噪后，DnCNN产生水平条纹，表明存在训练数据中未出现的锐化效应。
• DnCNN与FFDnet的稳定模式是初始条件的平滑版本，并附加了水平结构，表明网络行为中存在结构偏差。
• 通过改进幂法计算的特征向量可作为可解释的（不）稳定模式，揭示网络保留或去除的图像结构。