[论文解读] SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization

Hongbo Sun, Xiangteng He+1 more|arXiv (Cornell University)|Aug 31, 2022

Advanced Image and Video Retrieval Techniques被引用 9

一句话总结

该论文提出 SIM-Trans，一种基于视觉变换器的框架，通过结构信息学习（SIL）模块和多层级特征增强（MFB）来提升细粒度视觉分类性能。SIL 模块利用自注意力权重捕捉判别性图像块之间的空间关系，而 MFB 模块则通过融合多层级特征与对比学习提升特征鲁棒性，在 CUB-200-2011 和 iNaturalist 2017 基准上实现了最先进性能。

ABSTRACT

Fine-grained visual categorization (FGVC) aims at recognizing objects from similar subordinate categories, which is challenging and practical for human's accurate automatic recognition needs. Most FGVC approaches focus on the attention mechanism research for discriminative regions mining while neglecting their interdependencies and composed holistic object structure, which are essential for model's discriminative information localization and understanding ability. To address the above limitations, we propose the Structure Information Modeling Transformer (SIM-Trans) to incorporate object structure information into transformer for enhancing discriminative representation learning to contain both the appearance information and structure information. Specifically, we encode the image into a sequence of patch tokens and build a strong vision transformer framework with two well-designed modules: (i) the structure information learning (SIL) module is proposed to mine the spatial context relation of significant patches within the object extent with the help of the transformer's self-attention weights, which is further injected into the model for importing structure information; (ii) the multi-level feature boosting (MFB) module is introduced to exploit the complementary of multi-level features and contrastive learning among classes to enhance feature robustness for accurate recognition. The proposed two modules are light-weighted and can be plugged into any transformer network and trained end-to-end easily, which only depends on the attention weights that come with the vision transformer itself. Extensive experiments and analyses demonstrate that the proposed SIM-Trans achieves state-of-the-art performance on fine-grained visual categorization benchmarks. The code is available at https://github.com/PKU-ICST-MIPL/SIM-Trans_ACMMM2022.

研究动机与目标

• 解决现有细粒度视觉分类方法忽略判别区域之间相互依赖关系及整体物体结构的局限性。
• 通过将外观信息与结构信息整合到视觉变换器中，提升判别性表征学习能力。
• 开发一种轻量级、即插即用的模块，在无需额外标注的情况下增强特征定位与鲁棒性。
• 在大规模与细粒度基准上实现最先进性能，包括包含超过 95,000 张测试图像的 iNaturalist 2017。

提出的方法

• 结构信息学习（SIL）模块利用视觉变换器中的自注意力权重，挖掘物体内部显著图像块之间的空间上下文关系，将结构感知注入模型。
• SIL 模块被应用于变换器的多个层级，当注入到三个层级时性能最佳，显著提升了空间推理能力与对判别性区域的关注度。
• 多层级特征增强（MFB）模块融合不同变换器层级的特征，以利用互补表征并提升鲁棒性。
• MFB 模块结合对比学习与可学习的温度超参数 α，强调难负样本，增强特征判别能力。
• 两个模块均轻量化，可无缝嵌入任意视觉变换器架构中，通过仅利用变换器固有的注意力权重实现端到端训练。
• 模型通过交叉熵损失与对比损失进行端到端训练，实现分类与特征表征的联合优化。

实验结果

研究问题

• RQ1 如何在视觉变换器中有效建模细粒度视觉分类的物体结构信息？
• RQ2 能否在无额外监督的情况下，利用自注意力权重捕捉判别性图像块之间的空间依赖关系？
• RQ3 结合多层级特征融合与对比学习是否能提升细粒度识别中的特征鲁棒性与分类准确率？
• RQ4 将结构感知模块注入视觉变换器的最佳深度与配置是什么？
• RQ5 仅依赖注意力权重的即插即用模块能否在大规模细粒度基准上实现最先进性能？

主要发现

• 所提出的 SIM-Trans 在 CUB-200-2011 基准上达到 91.8% 的 top-1 准确率，较基线提升 1.2 个百分点。
• 仅使用结构信息学习（SIL）模块即可使准确率较基线提升 0.5%，证明其在增强结构理解方面的有效性。
• 加入结合对比学习的 MFB 模块后，性能进一步提升 0.4%，凸显难负样本挖掘与特征判别能力增强的优势。
• 消融实验表明，将 SIL 注入三个变换器层级时性能最佳，表明感受野与定位精度之间存在最优平衡。
• 在包含超过 95,000 张测试图像与 5,000 多个类别的大规模 iNaturalist 2017 基准上，SIM-Trans 达到最先进性能，证实其可扩展性与泛化能力。
• 超参数分析显示，MFB 模块中 α = 0.3 时性能最佳，因更高值会将易样本引入对比学习，导致性能下降。