[论文解读] Residual Convolutional Neural Network Revisited with Active Weighted Mapping

Hyoungho Jung, Ryong Lee+2 more|arXiv (Cornell University)|Nov 16, 2018

Machine Learning and ELM参考文献 18被引用 5

一句话总结

本文提出主动加权映射（AWM），一种可学习的、输入自适应的加权机制，用以替代ResNet中固定的恒等快捷连接，通过为每张输入图像动态推断通道感知的权重。通过使用全连接层基于全局特征嵌入预测各层特定的权重，AWM在ResNet和DenseNet架构中均提升了准确率，实验表明在CIFAR-100上误差率最高降低0.62%，且推断权重具有较强的判别能力（在基于LDA的分类中AUC提升8.14%）。

ABSTRACT

In visual recognition, the key to the performance improvement of ResNet is the success in establishing the stack of deep sequential convolutional layers using identical mapping by a shortcut connection. It results in multiple paths of data flow under a network and the paths are merged with the equal weights. However, it is questionable whether it is correct to use the fixed and predefined weights at the mapping units of all paths. In this paper, we introduce the active weighted mapping method which infers proper weight values based on the characteristic of input data on the fly. The weight values of each mapping unit are not fixed but changed as the input image is changed, and the most proper weight values for each mapping unit are derived according to the input image. For this purpose, channel-wise information is embedded from both the shortcut connection and convolutional block, and then the fully connected layers are used to estimate the weight values for the mapping units. We train the backbone network and the proposed module alternately for a more stable learning of the proposed method. Results of the extensive experiments show that the proposed method works successfully on the various backbone architectures from ResNet to DenseNet. We also verify the superiority and generality of the proposed method on various datasets in comparison with the baseline.

研究动机与目标

• 为解决ResNet中固定恒等快捷连接的局限性，该局限可能阻碍深度视觉识别中进一步的准确率提升。
• 探索可学习的、输入相关的残差连接权重是否能够增强特征融合与模型性能。
• 验证所提方法在多种主干网络架构（包括ResNet和DenseNet）中的通用性与有效性。
• 定量评估推断权重值在视觉分类任务中的判别能力，且独立于原始图像特征。

提出的方法

• 提出主动加权映射（AWM），其中每个残差块的快捷连接权重基于输入相关的通道特征动态预测。
• 从快捷连接和卷积块中分别提取全局平均池化特征，将其拼接后输入全连接层以预测权重值。
• 对全连接层的输出应用Sigmoid激活函数，生成介于0到1之间的归一化、可学习权重，用于每个残差块。
• 采用交替训练策略：主干网络与AWM模块按顺序训练，其中一个冻结而另一个更新，以确保稳定端到端学习。
• 在DenseNet中采用类似软分配的机制，在拼接前应用学习到的权重，以适应不同输入下各连接的重要性。
• 通过PCA+LDA对权重向量进行判别能力验证，将其与基于像素的特征在k-NN分类设置中进行比较。

实验结果

研究问题

• RQ1 能否用输入自适应权重替代ResNet中固定的恒等映射，以提升视觉识别准确率？
• RQ2 AWM模块中动态推断的权重是否在不同图像类别和输入特征下表现出有意义的变化？
• RQ3 所提出的AWM方法是否可泛化至不同主干网络架构（如ResNet和DenseNet）？
• RQ4 尽管维度较低，推断的权重向量是否仍能捕获足够的判别信息用于图像分类？
• RQ5 AWM模块在多个数据集和网络深度下的性能与基线模型相比如何？

主要发现

• 将AWM方法应用于22至40层的DenseNet时，在CIFAR-100上实现了平均0.62%的误差率降低，表明在不同深度下均具有一致的性能提升。
• 在ResNet-110上，AWM模块推断出的权重向量表现出强大的判别能力，在PCA+LDA基础上的k-NN分类中，AUC从Rank-1到Rank-10的平均提升达8.14%。
• 消融实验证实，AWM模块预测的权重值具有类别依赖性，这由低维权重向量上的LDA分类性能所证实。
• 大量实验验证了该方法在多种主干网络架构（包括ResNet和DenseNet）上的有效性与泛化能力，表明其具有广泛适用性。
• 交替训练策略成功稳定了学习过程，使AWM模块能够收敛并提升性能，而不会造成性能退化。