[论文解读] The Shallow End: Empowering Shallower Deep-Convolutional Networks through Auxiliary Outputs

Yong Guo, Jian Chen+4 more|arXiv (Cornell University)|Nov 6, 2016

Advanced Neural Network Applications参考文献 58被引用 8

一句话总结

本文提出多路反向传播（MW-BP），一种通过在中间层添加辅助损失并为每种损失执行独立反向传播来增强浅层深度卷积网络的方法。通过缓解训练过程中的监督信号消失问题，MW-BP显著提升了模型紧凑性——例如，MwResNet-44 在 CIFAR-10 和 CIFAR-100 上的表现优于参数更少、精度更高的 SOTA 模型压缩技术的 ResNet-110。

ABSTRACT

Depth is one of the key factors behind the success of convolutional neural networks (CNNs). Since ResNet, we are able to train very deep CNNs as the gradient vanishing issue has been largely addressed by the introduction of skip connections. However, we observe that, when the depth is very large, the intermediate layers (especially shallow layers) may fail to receive sufficient supervision from the loss due to the severe transformation through a long backpropagation path. As a result, the representation power of intermediate layers can be very weak and the model becomes very redundant with limited performance. In this paper, we first investigate the supervision vanishing issue in existing backpropagation (BP) methods. And then, we propose to address it via an effective method, called Multi-way BP (MW-BP), which relies on multiple auxiliary losses added to the intermediate layers of the network. The proposed MW-BP method can be applied to most deep architectures with slight modifications, such as ResNet and MobileNet. Our method often gives rise to much more compact models (denoted by "Mw+Architecture") than existing methods. For example, MwResNet-44 with 44 layers performs better than ResNet-110 with 110 layers on CIFAR-10 and CIFAR-100. More critically, the resultant models even outperform the light models obtained by state-of-the-art model compression methods. Last, our method inherently produces multiple compact models with different depths at the same time, which is helpful for model selection.

研究动机与目标

• 研究深度卷积神经网络中的监督信号消失问题，即由于反向传播路径过长，中间层接收到的梯度信号不足。
• 解决深度网络中的模型冗余问题，该问题导致参数量过高、模型尺寸过大以及推理成本增加，尽管网络架构本身具有高效性。
• 通过引入辅助损失，为训练过程提供更强、更直接的监督，从而提升中间层的表征能力。
• 开发一种训练框架，支持从单一架构中同时训练多个不同深度的紧凑模型。
• 通过显著减少参数数量和降低推理成本，实现比现有模型压缩方法更高的精度。

提出的方法

• 提出多路反向传播（MW-BP），在一次前向传播后，对每个辅助损失分别执行独立的反向传播，从而保留传递至中间层的独立梯度信号。
• 引入辅助损失的自适应加权策略，以减少不同监督信号在训练过程中产生的梯度冲突。
• 在深度网络架构（如 ResNet、MobileNet、DenseNet 和 Inception）中，在多个中间层应用辅助输出，且仅需极少的架构修改。
• 采用动态加权策略（Adaptive-I 和 Adaptive-II），根据学习率衰减调整损失权重，以提升训练稳定性和中间模型性能。
• 在所有损失之间共享前向传播过程，以保持计算效率，同时支持每种损失独立更新梯度。
• 通过从同一训练过程中提取对应不同辅助损失的多个紧凑模型，实现模型选择。

实验结果

研究问题

• RQ1 在使用标准反向传播训练的极深卷积神经网络中，监督信号消失如何影响中间层的表征能力？
• RQ2 是否可以通过引入辅助损失显著减少模型冗余并提升深度网络性能，而无需对网络架构进行重新设计？
• RQ3 在反向传播过程中，如何最优地组合多个辅助损失，以避免梯度冲突并提升训练收敛性？
• RQ4 MW-BP 是否能够生成在精度和效率方面均优于更深的标准模型及 SOTA 压缩模型的紧凑模型？
• RQ5 MW-BP 在多大程度上能够实现在单次训练过程中同时生成多个不同深度的紧凑模型？

主要发现

• MwResNet-44（44 层）在 CIFAR-10 上达到 5.67% 的错误率，在 CIFAR-100 上达到 27.35% 的错误率，优于具有 170 万参数的 ResNet-110（110 层）。
• 来自 MwResNet-56-5（model-45）的中间模型在 CIFAR-10 和 CIFAR-100 上的表现优于 ResNet-110，尽管其参数量仅为 85 万。
• 添加最多五个辅助损失可获得最佳性能；更多损失（如 10 或 25 个）会因干扰和训练变慢而降低性能。
• 自适应加权策略（Adaptive-I 和 Adaptive-II）相比固定加权策略，显著提升了中间模型性能，尤其在早期阶段模型中表现更优。
• MwResNet-56-5（五个辅助损失）在 CIFAR-10 上达到 5.53% 的错误率，显著优于标准 ResNet-56（6.08%）和含两个损失的 MwResNet-56（5.77%）。
• 所提方法生成的模型在精度上优于 SOTA 模型压缩技术，同时保持更小的模型尺寸和更低的推理成本。