[论文解读] NAIS-Net: Stable Deep Networks from Non-Autonomous Differential Equations

Marco Ciccone, Marco Gallieri+3 more|arXiv (Cornell University)|Apr 19, 2018

Advanced Memory and Neural Computing参考文献 46被引用 26

一句话总结

NAIS-Net 是一种源自时不变非自治动力系统的深度残差网络架构，其中从输入到每个处理阶段的跳跃连接确保了全局渐近稳定性。该网络支持基于模式的处理深度，与 ResNets 相比，泛化误差差距最多减少 50%，并且即使在无限展开长度下也能保持稳定、利普希茨连续的输入-输出映射，通过高效的稳定性约束机制实现全连接层和卷积层的稳定训练。

ABSTRACT

This paper introduces Non-Autonomous Input-Output Stable Network(NAIS-Net), a very deep architecture where each stacked processing block is derived from a time-invariant non-autonomous dynamical system. Non-autonomy is implemented by skip connections from the block input to each of the unrolled processing stages and allows stability to be enforced so that blocks can be unrolled adaptively to a pattern-dependent processing depth. NAIS-Net induces non-trivial, Lipschitz input-output maps, even for an infinite unroll length. We prove that the network is globally asymptotically stable so that for every initial condition there is exactly one input-dependent equilibrium assuming $tanh$ units, and incrementally stable for ReL units. An efficient implementation that enforces the stability under derived conditions for both fully-connected and convolutional layers is also presented. Experimental results show how NAIS-Net exhibits stability in practice, yielding a significant reduction in generalization gap compared to ResNets.

研究动机与目标

• 为解决自主动力系统在深度网络中的局限性（即其收敛至与输入无关的不动点），通过跳跃连接引入非自主性。
• 确保深度残差网络的全局渐近稳定性，从而实现基于输入的可变处理深度的稳定训练与推理。
• 推导 tanh 和 ReLU 激活函数下稳定性的充分条件，确保有界输入-输出映射和增量稳定性。
• 在不增加参数量的前提下，通过随机优化中的高效权重约束，使网络深度达到 ResNet 的 10 至 20 倍。
• 在 CIFAR-10 和 CIFAR-100 上展示改进的泛化性能，与标准 ResNets 相比，泛化误差差距显著减小。

提出的方法

• 提出一种非自治动力系统，其中每个处理模块通过跳跃连接接收来自所有展开阶段的输入，使系统具有输入依赖性。
• 利用李雅普诺夫分析推导全局渐近稳定性的充分条件，确保 tanh 单元具有且仅具有一个输入相关的平衡点。
• 建立 ReLU 单元的增量稳定性，确保有界输入差异下输出差异也保持有界。
• 提出一种重投影方法，在随机优化中对全连接层和卷积层的权重矩阵施加稳定性约束。
• 在推理阶段采用基于模式的停止准则，当激活值变化低于阈值时停止展开，从而实现每个输入的可变处理深度。
• 采用时不变、共享权重的模块化架构，通过自适应展开实现深度与稳定性的平衡。

实验结果

研究问题

• RQ1 是否可以设计一种深度残差网络，使其处理深度能随输入模式自适应调整，同时保持稳定性？
• RQ2 如何在残差网络中嵌入非自治动力学，以确保输入相关的收敛性并避免不动点行为？
• RQ3 在具有 tanh 和 ReLU 激活函数的残差网络中，何种数学条件可保证全局渐近稳定性？
• RQ4 在深度网络中，即使展开长度趋于无穷，是否仍能保持稳定、利普希茨连续的输入-输出映射？
• RQ5 与标准 ResNets 相比，施加稳定性约束在多大程度上能减小泛化误差差距？

主要发现

• NAIS-Net 在 CIFAR-10 和 CIFAR-100 上与 ResNets 具有相似测试准确率的前提下，泛化误差差距最多减少 50%。
• 由于强制引入非自主性与稳定性条件，该网络即使在无限展开长度下仍能保持稳定、利普希茨连续的输入-输出映射。
• 对于 tanh 单元，NAIS-Net 确保存在且仅存在一个输入相关的平衡点，从而保证动力学的可预测性与稳定性。
• 对于 ReLU 单元，网络表现出增量稳定性，即有界输入差异在所有层中仅导致有界输出差异。
• 由于具备稳定且自适应的展开机制，NAIS-Net 的深度可达到原始 ResNet 的 10 至 20 倍，且参数量未增加。
• 定性分析表明，图像复杂度与内容（如纹理、颜色、物体大小）决定了最终处理深度，更复杂的输入会获得更深的处理。