[论文解读] Nonlocal Neural Networks, Nonlocal Diffusion and Nonlocal Modeling

Yunzhe Tao, Qi Sun+2 more|arXiv (Cornell University)|Jun 2, 2018

Neural Networks and Applications参考文献 24被引用 15

一句话总结

本文提出了一种新型非局部神经网络模块，通过扩散和马尔可夫跳跃过程建模非局部操作，从而提升稳定性和深度。通过对训练后的权重矩阵进行分析，作者推导出一种带有负权重的公式，确保动态稳定，使深层网络成为可能，同时保持长距离特征学习能力。

ABSTRACT

Nonlocal neural networks have been proposed and shown to be effective in several computer vision tasks, where the nonlocal operations can directly capture long-range dependencies in the feature space. In this paper, we study the nature of diffusion and damping effect of nonlocal networks by doing spectrum analysis on the weight matrices of the well-trained networks, and then propose a new formulation of the nonlocal block. The new block not only learns the nonlocal interactions but also has stable dynamics, thus allowing deeper nonlocal structures. Moreover, we interpret our formulation from the general nonlocal modeling perspective, where we make connections between the proposed nonlocal network and other nonlocal models, such as nonlocal diffusion process and Markov jump process.

研究动机与目标

• 通过分析训练后权重矩阵的谱特性，理解现有非局部神经网络的内在动态机制。
• 解决标准非局部模块在深层堆叠时出现的不稳定性和信号衰减问题。
• 提出一种具有稳定动态特性的新型非局部模块公式，以支持更深的网络架构。
• 建立非局部网络与经典非局部模型（如非局部扩散和马尔可夫跳跃过程）之间的理论联系。
• 实现鲁棒的、更深的非局部网络，能够在不退化的情况下保持长距离特征表示。

提出的方法

• 对训练良好的非局部模块的权重矩阵进行谱分析，量化信号衰减和扩散效应。
• 受非局部扩散过程启发，提出一种新型非局部模块公式，利用负权重矩阵实现动态稳定。
• 将新模块形式化为离散时间马尔可夫跳跃过程，其中核矩阵 K 确保列求和为 1 且系统稳定。
• 将非局部操作重新表述为希尔伯特-施密特算子，以保证有界性和有限的弗罗贝尼乌斯范数。
• 将所提网络与偏微分方程（PDE）关联，表明其在残差网络中引入了正则化扩散项。
• 通过使用负系数，证明新模块可避免原始非局部网络的零稳态问题。

实验结果

研究问题

• RQ1 当非局部神经网络被深度堆叠时，导致信号衰减和不稳定的根源是什么？
• RQ2 如何稳定非局部模块的动态特性，以支持更深的网络架构？
• RQ3 非局部神经网络与非局部扩散或马尔可夫跳跃过程之间存在何种数学关系？
• RQ4 能否设计一种非局部模块，在保证稳定训练动态的同时保留长距离依赖关系？
• RQ5 与原始非局部模块相比，所提公式的稳定性和表征能力如何？

主要发现

• 谱分析显示，训练后的非局部模块因正特征值而表现出强烈的信号衰减效应。
• 原始非局部模块由于非负亲和函数的存在，其稳态解为 Z ≡ 0，导致特征在迭代过程中逐渐消失。
• 所提出的非局部模块采用负权重，数学上等价于反向马尔可夫跳跃过程，确保动态稳定。
• 所提公式的核矩阵 K 是一个马尔可夫矩阵（列求和为 1），且系统作为希尔伯特-施密特算子有界。
• 由于避免了原始公式的不稳定性，新模块支持更深的堆叠，从而更好地保持长距离特征。
• 理论分析表明，所提网络在PDE解释下向残差网络引入了正则化扩散项，提升了稳定性。