[论文解读] RES-SE-NET: Boosting Performance of Resnets by Enhancing Bridge-connections

V Varshaneya, S. Balasubramanian+1 more|arXiv (Cornell University)|Feb 16, 2019

Advanced Neural Network Applications被引用 5

一句话总结

本文提出Res-SE-Net，一种增强型残差网络，通过在残差块之间的桥接连接——即用于重塑特征图的跳跃连接——中应用挤压-激励（SE）模块来提升性能。通过自适应地加权这些连接中的特征图，Res-SE-Net在CIFAR-10和CIFAR-100上实现了最先进（SOTA）的准确率，相较于标准ResNet和SE-ResNet，在CIFAR-100上最高提升1.94%，在CIFAR-10上最高提升0.87%。

ABSTRACT

One of the ways to train deep neural networks effectively is to use residual connections. Residual connections can be classified as being either identity connections or bridge-connections with a reshaping convolution. Empirical observations on CIFAR-10 and CIFAR-100 datasets using a baseline Resnet model, with bridge-connections removed, have shown a significant reduction in accuracy. This reduction is due to lack of contribution, in the form of feature maps, by the bridge-connections. Hence bridge-connections are vital for Resnet. However, all feature maps in the bridge-connections are considered to be equally important. In this work, an upgraded architecture "Res-SE-Net" is proposed to further strengthen the contribution from the bridge-connections by quantifying the importance of each feature map and weighting them accordingly using Squeeze-and-Excitation (SE) block. It is demonstrated that Res-SE-Net generalizes much better than Resnet and SE-Resnet on the benchmark CIFAR-10 and CIFAR-100 datasets.

研究动机与目标

• 探究桥接连接在ResNet中的作用，其对性能至关重要，但通常被视为统一的特征图直通路径。
• 解决当前所有桥接连接中的特征图均等加权的局限性，尽管其重要性各不相同。
• 通过动态重新校准桥接连接中特征图的重要性，提升模型的泛化能力和准确率。
• 证明通过SE模块增强桥接连接可为基线ResNet和SE-ResNet带来一致的性能提升。
• 验证SE模块的集成不会破坏深层网络中的梯度流动或训练稳定性。

提出的方法

• 提出Res-SE-Net，一种修改后的ResNet架构，其中在每个桥接连接路径中插入Squeeze-and-Excitation（SE）模块。
• SE模块通过全局平均池化计算通道注意力权重，随后通过带有ReLU和Sigmoid激活函数的全连接层生成可学习的缩放因子。
• 这些学习到的权重在与残差路径通过逐元素乘法相加前，应用于桥接连接中的特征图。
• 通过保持跳跃连接结构，保留残差学习机制，确保反向传播过程中梯度流动的稳定性。
• 在CIFAR-10和CIFAR-100上使用标准ResNet深度配置（20、32、44、56、110层）对方法进行评估。
• 采用标准数据增强和优化协议进行训练，性能与基线ResNet和SE-ResNet进行对比。

Figure 1: Resnet module (adapted from [ 1 ] ).

实验结果

研究问题

• RQ1 桥接连接对ResNet性能有多关键，尤其是在被移除时？
• RQ2 是否因对桥接连接中所有特征图均等加权而限制了模型容量，动态加权能否提升性能？
• RQ3 在桥接连接中集成Squeeze-and-Excitation模块是否能增强特征图表示，同时不破坏训练过程？
• RQ4 Res-SE-Net在基准图像分类数据集上的泛化能力是否优于SE-ResNet和基线ResNet？
• RQ5 SE模块在桥接连接中与身份跳跃连接中的位置差异对模型准确率和训练稳定性有何影响？

主要发现

• 在所有深度配置下，Res-SE-Net在CIFAR-10上平均准确率较基线ResNet提升0.566%，在CIFAR-100上提升0.704%。
• Res-SE-Net-110变体表现最佳，相较于ResNet-110，在CIFAR-10上提升0.87%，在CIFAR-100上提升1.6%。
• Res-SE-Net在CIFAR-10上平均优于SE-ResNet 0.124%，在CIFAR-100上平均提升1.392%；其中Res-SE-Net-110分别实现0.74%和1.94%的提升。
• 所有Res-SE-Net模型的训练损失在20至110层的深度范围内均保持平滑稳定，表明未破坏梯度流动。
• 实证结果表明，将SE模块添加到身份跳跃连接中会降低性能，尤其在更深网络中更为明显，凸显了选择性放置的重要性。
• 所提出的架构在泛化能力上优于基线ResNet和SE-ResNet，表明增强桥接连接可带来显著的性能提升。

Figure 4: Modified bridge-connection 4 4 4 Image from Andrew Ng’s Deep Learning course and modified with an SE block. .