[论文解读] Residual Networks are Exponential Ensembles of Relatively Shallow Networks.

Andreas Veit, Michael J. Wilber+1 more|arXiv (Cornell University)|May 20, 2016

Cell Image Analysis Techniques参考文献 14被引用 78

一句话总结

该论文揭示，残差网络（ResNets）作为相对浅层网络的指数级集成模型而运作，而非通过保持完整深度的梯度流动。一项大规模损伤研究证实了测试时的集成行为，显示大部分梯度流动源自短网络（10–34层），表明深度的重要性低于隐式多重性——即内部集成的规模——从而挑战了关于残差学习的传统观点。

ABSTRACT

In this work, we introduce a novel interpretation of residual networks showing they are exponential ensembles. This observation is supported by a large-scale lesion study that demonstrates they behave just like ensembles at test time. Subsequently, we perform an analysis showing these ensembles mostly consist of networks that are each relatively shallow. For example, contrary to our expectations, most of the gradient in a residual network with 110 layers comes from an ensemble of very short networks, i.e., only 10-34 layers deep. This suggests that in addition to describing neural networks in terms of width and depth, there is a third dimension: multiplicity, the size of the implicit ensemble. Ultimately, residual networks do not resolve the vanishing gradient problem by preserving gradient flow throughout the entire depth of the network - rather, they avoid the problem simply by ensembling many short networks together. This insight reveals that depth is still an open research question and invites the exploration of the related notion of multiplicity.

研究动机与目标

• 重新诠释残差网络，超越其标准架构描述，聚焦于其隐式集成的本质。
• 研究 ResNets 在测试时是否表现如集成模型，特别是关于梯度贡献方面。
• 确定集成中单个网络的有效深度，挑战关于梯度通过完整深度流动的假设。
• 探索多重性（隐式集成规模）作为神经网络设计中的新维度，与宽度和深度并列。

提出的方法

• 通过系统性地移除残差块进行大规模损伤研究，以测量对测试准确率的影响，模拟集成行为。
• 通过测量单个残差块对整体梯度的贡献，分析网络中的梯度流动。
• 将 ResNets 建模为浅层子网络的指数级集成，其中每条路径对应不同的残差块组合。
• 使用消融和梯度归因方法，识别对最终预测贡献最大的子网络，特别关注短路径。
• 为“有效模型容量源于大量浅层网络的乘法组合”这一主张，提供理论和实证支持。

实验结果

研究问题

• RQ1 残差网络在测试时是否表现如集成模型？如果是，这种集成的本质是什么？
• RQ2 ResNet 集成中单个网络的有效深度是多少？与网络总深度相比如何？
• RQ3 在深层 ResNets 中，梯度流动在多大程度上源自极短的子网络，而非完整深度？
• RQ4 与传统架构维度（如宽度和深度）相比，多重性（隐式集成规模）在决定模型性能方面有何作用？

主要发现

• 通过大规模损伤研究证实，ResNets 在测试时表现为浅层网络的指数级集成。
• 在 110 层 ResNet 中，大部分梯度流动源自仅 10 至 34 层深的子网络，而非完整深度。
• 有效模型容量主要由大量短而浅的路径主导，而非单一深层路径的计算。
• ResNets 并非通过保持完整深度的梯度流动来解决梯度消失问题；相反，它们通过隐式集成大量短网络来避免该问题。
• 多重性（隐式集成规模）作为神经网络设计中一个关键且此前被忽视的维度浮现出来。