[论文解读] SAN: Learning Relationship between Convolutional Features for Multi-Scale Object Detection

Yonghyun Kim, Bong-Nam Kang+1 more|arXiv (Cornell University)|Aug 15, 2018

Advanced Neural Network Applications参考文献 32被引用 5

一句话总结

本文提出Scale Aware Network (SAN)，一种新颖的模块，通过建模跨尺度的卷积特征通道间的关系来学习尺度不变表示，而无需依赖空间信息。通过使用通道路由机制和独特的学习策略，SAN减少了不同尺度间特征分布的差异，在PASCAL VOC上提升1.2 mAP，在MS COCO上提升2.1 mAP，且计算开销极低。

ABSTRACT

Most of the recent successful methods in accurate object detection build on the convolutional neural networks (CNN). However, due to the lack of scale normalization in CNN-based detection methods, the activated channels in the feature space can be completely different according to a scale and this difference makes it hard for the classifier to learn samples. We propose a Scale Aware Network (SAN) that maps the convolutional features from the different scales onto a scale-invariant subspace to make CNN-based detection methods more robust to the scale variation, and also construct a unique learning method which considers purely the relationship between channels without the spatial information for the efficient learning of SAN. To show the validity of our method, we visualize how convolutional features change according to the scale through a channel activation matrix and experimentally show that SAN reduces the feature differences in the scale space. We evaluate our method on VOC PASCAL and MS COCO dataset. We demonstrate SAN by conducting several experiments on structures and parameters. The proposed SAN can be generally applied to many CNN-based detection methods to enhance the detection accuracy with a slight increase in the computing time.

研究动机与目标

• 为解决基于CNN的目标检测器中尺度变化带来的挑战，即不同尺度的特征表现出显著的分布差异。
• 通过学习卷积特征的尺度不变表示，减少不同尺度间的特征差异。
• 设计一种方法，独立于空间信息建模通道间关系，以实现高效且鲁棒的特征学习。
• 在不修改主干网络或检测器架构的前提下，提升在广泛尺度范围内的检测精度。
• 通过将SAN应用于R-FCN和可变形R-FCN等现有检测器，展示其泛化能力并获得一致性能提升。

提出的方法

• SAN使用可学习的子网络，将来自不同输入尺度的特征映射到共享的、尺度不变的子空间中，该子网络仅基于通道级关系进行操作。
• 该方法采用通道激活矩阵来可视化和分析特征激活在不同尺度下的变化，指导网络架构设计。
• 引入一种独特的学习机制，仅关注通道间关系，省略空间上下文信息，以提升效率和泛化能力。
• 网络使用路由机制，根据尺度感知的通道交互动态调整特征变换。
• 训练采用小批量策略，使用尺度归一化的参考特征，通过全局平均池化隔离通道级效应。
• 子网络通过最小化不同尺度特征与参考尺度之间的均方根误差（RMSE）进行训练，以促进特征一致性。

实验结果

研究问题

• RQ1 卷积特征激活在不同输入尺度下如何变化？这种尺度引起的分布偏移具有何种特性？
• RQ2 仅建模通道间关系（不依赖空间上下文）是否能有效减少与尺度相关的特征差异？
• RQ3 尺度不变特征表示在多尺度数据集（如PASCAL VOC和MS COCO）上，能在多大程度上提升检测精度？
• RQ4 所提出的SAN模块在不同检测器架构（如R-FCN和可变形R-FCN）上具有多大程度的泛化能力？
• RQ5 在性能与效率之间取得最佳平衡时，SAN模块在池化策略和小批量大小方面的最优配置是什么？

主要发现

• SAN有效抑制了尺度引起的特征变化，显著降低了不同尺度特征与参考尺度之间的均方根误差（RMSE）。
• 在PASCAL VOC 2007测试集上，R-FCN加入SAN后mAP达到80.57%，较基线R-FCN（79.37% mAP）提升1.2个百分点。
• 在MS COCO数据集上，可变形R-FCN加入SAN后，COCO风格mAP达到39.7%，较基线可变形R-FCN提升2.1个百分点。
• SAN的平均池化变体优于最大池化，VOC PASCAL上的mAP分别为80.57%和80.35%。
• 训练SAN的最优小批量大小为每分区16个样本，可在精度与计算成本之间取得良好平衡。
• 通过通道激活矩阵的可视化结果证实，SAN在全部21个VOC类别上均有效减少了跨尺度的特征差异。