[论文解读] Relay Backpropagation for Effective Learning of Deep Convolutional Neural Networks

Li Shen, Zhouchen Lin+1 more|arXiv (Cornell University)|Dec 18, 2015

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种名为Relay Backpropagation的方法，通过在深层卷积神经网络中插入辅助损失分支，缩短梯度传播路径并保留有效信息，从而提升训练效果。该方法改善了泛化性能，并在多个任务上达到最先进水平，包括在ILSVRC 2015场景分类挑战赛中获得第一名，以及在使用ResNet-50的ImageNet 2012数据集上将top-1错误率降低0.91%。

ABSTRACT

Learning deeper convolutional neural networks becomes a tendency in recent years. However, many empirical evidences suggest that performance improvement cannot be gained by simply stacking more layers. In this paper, we consider the issue from an information theoretical perspective, and propose a novel method Relay Backpropagation, that encourages the propagation of effective information through the network in training stage. By virtue of the method, we achieved the first place in ILSVRC 2015 Scene Classification Challenge. Extensive experiments on two challenging large scale datasets demonstrate the effectiveness of our method is not restricted to a specific dataset or network architecture. Our models will be available to the research community later.

研究动机与目标

• 解决非常深的网络在反向传播过程中有效信息退化的问题。
• 缓解在深层架构中通过长路径传播不相关信息所带来的负面影响。
• 在不进行网络结构大规模重构的前提下，提升深层卷积神经网络的训练稳定性和泛化能力。
• 在多种数据集和网络架构上验证该方法的有效性。
• 提供一种可扩展、即插即用的解决方案，在无需大量微调或超参数调整的情况下提升性能。

提出的方法

• 将网络划分为多个段，每个中间段后插入一个或多个辅助输出模块（包含损失层）。
• 每个辅助分支计算一个损失，该损失与主损失联合最小化，从而实现梯度通过更短路径传播。
• 每个损失的梯度仅传播到其对应段的最低层，将传播深度限制在N层（N < 网络总深度）。
• 该方法采用加权损失集成，实验中辅助损失的权重设为0.3。
• 通过在特定中间层（如ResNet-50中的conv4_1至conv4_4）添加分支，将该方法应用于VGGNet、ResNet-50和Inception-v3。
• 该框架在保留相关误差信号的同时，减少了长距离反向传播带来的噪声，从而提升了优化效率。

实验结果

研究问题

• RQ1 在反向传播中缩短梯度路径是否能改善深层网络中的信息流动和模型性能？
• RQ2 插入辅助损失分支是否能减轻在长路径上传播无关梯度所带来的负面影响？
• RQ3 Relay Backpropagation是否能在不进行网络结构重新设计的情况下提升多种网络架构的性能？
• RQ4 该方法在ImageNet和Places2等大规模、具有挑战性的数据集上是否依然有效？
• RQ5 该方法是否具有普适性，而不仅限于特定架构（如带有残差连接的网络）？

主要发现

• Relay Backpropagation在包含超过800万张图像的401类ILSVRC 2015场景分类挑战赛中获得第一名。
• 在ImageNet 2012上，该方法使用ResNet-50将top-1错误率降低0.91%（从21.17%降至20.26%），top-5错误率降低0.44%（从5.37%降至4.93%）。
• 对于Inception-v3，与标准反向传播相比，该方法将top-1错误率降低0.66%，top-5错误率降低0.46%。
• 在ImageNet 2012上，该方法实现了4.03%的测试top-5错误率，优于ILSVRC 2015报告的最佳单模型结果。
• 性能提升在多种架构（包括ResNet-50和Inception-v3）上均保持一致，表明其具有超越单一架构的泛化能力。
• 结果表明，即使在具有残差连接的网络中，Relay BP仍能进一步提升性能，说明缩短梯度路径有助于提升信息保留能力。