[论文解读] Slim, Sparse, and Shortcut Networks

Fenglei Fan, Dayang Wang+5 more|arXiv (Cornell University)|Nov 22, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用 4

一句话总结

该论文提出S3-Net，一种轻量级、稀疏且基于跳跃连接的神经网络架构，通过理论基础坚实的跳跃连接拓扑，以最小宽度实现通用近似。通过证明具有战略性跳跃连接的一神经元宽网络可近似任意单变量函数，作者建立了宽度有界的通用近似器，并通过谱分析和泛化界表明，跳跃连接可增强表征能力与泛化性能，从而在基准测试中优于密集连接和最先进模型。

ABSTRACT

Over the recent years, deep learning has become the mainstream data-driven approach to solve many real-world problems in many important areas. Among the successful network architectures, shortcut connections are well established to take the outputs of earlier layers as additional inputs to later layers, which have produced excellent results. Despite the extraordinary power, there remain important questions on the underlying mechanism and associated functionalities regarding shortcuts. For example, why are the shortcuts powerful? How to tune the shortcut topology to optimize the efficiency and capacity of the network model? Along this direction, here we first demonstrate a topology of shortcut connections that can make a one-neuron-wide deep network approximate any univariate function. Then, we present a novel width-bounded universal approximator in contrast to depth-bounded universal approximators. Next we demonstrate a family of theoretically equivalent networks, corroborated by the concerning statistical significance experiments, and their graph spectral characterization, thereby associating the representation ability of neural network with their graph spectral properties. Furthermore, we shed light on the effect of concatenation shortcuts on the margin-based multi-class generalization bound of deep networks. Encouraged by the positive results from the bounds analysis, we instantiate a slim, sparse, and shortcut network (S3-Net) and the experimental results demonstrate that the S3-Net can achieve better learning performance than the densely connected networks and other state-of-the-art models on some well-known benchmarks.

研究动机与目标

• 理解跳跃连接在深度神经网络中的潜在机制与功能角色。
• 利用跳跃连接拓扑开发一个宽度有界的通用近似器，与传统的深度有界方法形成对比。
• 建立网络拓扑、图谱特性与表征能力之间的理论与实证联系。
• 分析拼接跳跃连接对基于边界多分类泛化界的影响。
• 设计并评估S3-Net，一种稀疏且高效的架构，其性能优于密集连接和最先进模型。

提出的方法

• 提出一种新颖的一神经元宽深度网络，通过战略性布局的跳跃连接，可近似任意单变量函数，从而建立宽度有界的通用近似器。
• 形式化一类理论上等价的神经网络，并分析其图谱特性，以建立拓扑与表征能力之间的联系。
• 推导并分析具有拼接跳跃连接的深度网络的基于边界的泛化界，表明其具有更优的泛化能力。
• 设计S3-Net作为理论发现的实际实现，强调稀疏性、纤细宽度与跳跃连接的整合。
• 通过显著性检验与谱表征验证理论假设的正确性与架构的鲁棒性。
• 在知名基准上评估S3-Net，并与密集连接和最先进模型的性能进行比较。

实验结果

研究问题

• RQ1 为何跳跃连接在深度神经网络中具有强大效力？
• RQ2 如何调节跳跃连接拓扑以优化模型效率与容量？
• RQ3 具有跳跃连接的一神经元宽深度网络能否实现通用近似？
• RQ4 网络的图谱特性与其表征能力之间存在何种关系？
• RQ5 拼接跳跃连接如何影响深度网络的基于边界泛化界？

主要发现

• 通过合理设计跳跃连接的一神经元宽深度网络可对任意单变量函数实现通用近似，从而建立宽度有界的通用近似器。
• 统计显著性检验证实了一类跳跃连接网络之间的理论等价性，支持该架构的鲁棒性。
• 图谱分析揭示了网络拓扑与表征能力之间存在强关联，为理解深度网络提供了新的理论视角。
• 研究表明，拼接跳跃连接可改善基于边界的多分类泛化界，解释了其在实证中的成功。
• S3-Net在多个知名基准上实现了优于密集连接网络及其他最先进模型的学习性能。