[论文解读] Wise-SrNet: A Novel Architecture for Enhancing Image Classification by Learning Spatial Resolution of Feature Maps

Mohammad Rahimzadeh, Amirali Askari+3 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Image and Video Retrieval Techniques参考文献 22被引用 6

一句话总结

本文提出Wise-SrNet，一种新颖的深度学习架构，通过在卷积神经网络中用可学习的空间分辨率处理模块替代全局平均池化（GAP），在不增加计算成本的前提下保留特征图的空间分辨率。受深度可分离卷积的启发，Wise-SrNet在每个通道上应用可学习的空间注意力机制，在多个模型和数据集上，224×224图像的Top-1准确率提升了2–8%，512×512图像的Top-1准确率提升了3–26%。

ABSTRACT

One of the main challenges since the advancement of convolutional neural networks is how to connect the extracted feature map to the final classification layer. VGG models used two sets of fully connected layers for the classification part of their architectures, which significantly increased the number of models' weights. ResNet and the next deep convolutional models used the Global Average Pooling (GAP) layer to compress the feature map and feed it to the classification layer. Although using the GAP layer reduces the computational cost, but also causes losing spatial resolution of the feature map, which results in decreasing learning efficiency. In this paper, we aim to tackle this problem by replacing the GAP layer with a new architecture called Wise-SrNet. It is inspired by the depthwise convolutional idea and is designed for processing spatial resolution while not increasing computational cost. We have evaluated our method using three different datasets: Intel Image Classification Challenge, MIT Indoors Scenes, and a part of the ImageNet dataset. We investigated the implementation of our architecture on several models of the Inception, ResNet, and DenseNet families. Applying our architecture has revealed a significant effect on increasing convergence speed and accuracy. Our Experiments on images with 224*224 resolution increased the Top-1 accuracy between 2% to 8% on different datasets and models. Running our models on 512*512 resolution images of the MIT Indoors Scenes dataset showed a notable result of improving the Top-1 accuracy within 3% to 26%. We will also demonstrate the GAP layer's disadvantage when the input images are large and the number of classes is not few. In this circumstance, our proposed architecture can do a great help in enhancing classification results. The code is shared at https://github.com/mr7495/image-classification-spatial.

研究动机与目标

• 解决现代CNN中因全局平均池化（GAP）导致的空间分辨率损失问题，该问题会降低学习效率。
• 克服GAP在高分辨率输入和大量类别下的大规模图像分类任务中的局限性。
• 设计一种轻量化、计算高效的GAP替代方案，在减少模型参数的同时保留空间信息。
• 在ResNet、DenseNet和Inception等多样化架构中实现更快的收敛速度和更高的分类准确率。
• 探究GAP优化模型（如EfficientNet）与替代特征压缩方法（如Wise-SrNet）之间的不兼容性。

提出的方法

• 提出一种新型架构Wise-SrNet，用可学习的空间分辨率处理模块替代GAP层。
• 借鉴深度可分离卷积原理，利用通道特定的可训练权重，独立处理每个通道的空间维度。
• 设计一种类似深度卷积的层，跨通道共享空间权重，但每个通道具有可学习的变换，以保留空间结构。
• 集成正则化和归一化层以防止过拟合，同时保持计算效率。
• 通过避免全连接或全连接层，确保架构的FLOPs与GAP保持相近。
• 将该架构作为各种主干模型（ResNet、DenseNet、Inception、Xception）中最后GAP层的替代方案。

(a) Classification with Global Average Pooling

实验结果

研究问题

• RQ1 与标准GAP相比，可学习的空间感知压缩层是否能在保持计算效率的同时提升图像分类准确率？
• RQ2 在不同数据集和图像分辨率下，保留特征图中的空间分辨率如何影响收敛速度和模型泛化能力？
• RQ3 为何Wise-SrNet在EfficientNet模型上表现提升有限，尽管在其他架构上取得了显著增益？
• RQ4 在高分辨率图像和大类别数据集上，GAP的使用在多大程度上会降低性能？Wise-SrNet能否缓解这一问题？
• RQ5 所提出的架构是否可普遍应用于不同CNN家族而无需重新训练架构？

主要发现

• 在多个数据集和模型（包括ResNet50、DenseNet121和Inception）上，Wise-SrNet在224×224分辨率图像上的Top-1准确率提升了2%至8%。
• 在MIT Indoor Scenes数据集的512×512分辨率图像上，Top-1准确率提升了3%至26%，表明在高分辨率输入下具有显著增益。
• Wise-SrNet在EfficientNet模型上性能提升有限，归因于其NAS优化的架构，该架构专为GAP设计，对替代压缩层的适应性较差。
• Grad-CAM可视化结果表明，与GAP相比，Wise-SrNet生成的特征图更具判别性且空间一致性更强，表明其能更准确地定位图像中的相关区域。
• 所提出的架构在计算成本与GAP相近的同时，实现了更丰富的空间特征表示，证明在类别众多和输入图像较大的场景下具有有效性。
• 在除EfficientNet外的所有评估模型中，Wise-SrNet均优于GAP，证实为GAP专门优化的架构限制了替代方法的可迁移性。

(b) Classification with Global Weighted Average Pooling