[论文解读] Progressive Co-Attention Network for Fine-grained Visual Classification

Tian Zhang, Dongliang Chang+2 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Neural Network Applications被引用 7

一句话总结

该论文提出了一种新型的细粒度视觉分类方法——渐进式协同注意力网络（PCA-Net），通过利用成对的同类别图像输入来增强特征学习。通过协同注意力模块建模图像对之间的通道交互，并结合注意力擦除模块以发现互补特征，PCA-Net在CUB-200-2011数据集上达到88.9%的top-1准确率，在Stanford Cars数据集上达到94.6%，在FGVC Aircraft数据集上达到92.8%，性能达到当前最先进水平。

ABSTRACT

Fine-grained visual classification aims to recognize images belonging to multiple sub-categories within a same category. It is a challenging task due to the inherently subtle variations among highly-confused categories. Most existing methods only take an individual image as input, which may limit the ability of models to recognize contrastive clues from different images. In this paper, we propose an effective method called progressive co-attention network (PCA-Net) to tackle this problem. Specifically, we calculate the channel-wise similarity by encouraging interaction between the feature channels within same-category image pairs to capture the common discriminative features. Considering that complementary information is also crucial for recognition, we erase the prominent areas enhanced by the channel interaction to force the network to focus on other discriminative regions. The proposed model has achieved competitive results on three fine-grained visual classification benchmark datasets: CUB-200-2011, Stanford Cars, and FGVC Aircraft.

研究动机与目标

• 为解决细粒度视觉分类中的挑战，即类内细微差异与类间差异微弱导致识别困难的问题。
• 克服现有方法仅处理单张图像的局限性，从而限制其利用图像间对比线索的能力。
• 通过建模同类别图像对之间的共性判别特征与互补特征，提升特征学习能力。
• 开发一种轻量级、端到端的框架，在不采用复杂结构的前提下，增强对显著区域与细粒度区域的注意力分布。

提出的方法

• 协同注意力模块（CA-Module）通过在展平后的特征图上执行双线性运算，计算同类别图像对特征图之间的通道级相似性，生成权重矩阵以突出共性判别特征。
• 注意力擦除模块（AE-Module）抑制由CA-Module识别出的最显著注意力区域，迫使网络聚焦于其他互补的判别性区域。
• CA-Module与AE-Module以渐进方式应用：首先突出共性特征，随后擦除这些特征以揭示隐藏的、细微的特征。
• 模型采用ResNet-50作为主干网络，并引入中心损失以提升特征的紧凑性与可分性。
• 训练过程中应用随机裁剪与水平翻转的数据增强策略，推理时仅使用中心裁剪。
• 网络采用SGD优化算法训练180个周期，基础初始学习率为0.01，每2个周期衰减为0.9，批量大小为32。

Figure 1: The motivation of the proposed method. Most previous methods only took an individual image as input, and the relationship between images was not explored. In our work, we input a pair of same-category images and model the channel interaction between them to capture their common features.

实验结果

研究问题

• RQ1 建模同类别图像对之间的通道级交互是否能提升细粒度分类的特征学习？
• RQ2 抑制最活跃的注意力区域是否有助于网络发现互补的、细粒度的特征？
• RQ3 与单图像基线方法相比，渐进式协同注意力机制在准确率与鲁棒性方面表现如何？
• RQ4 CA-Module与AE-Module在性能提升中各自及联合贡献程度如何？

主要发现

• PCA-Net在CUB-200-2011数据集上达到88.9%的top-1准确率，优于API-Net（88.6%），并匹配当前最先进方法。
• 在Stanford Cars数据集上，模型达到94.6%的top-1准确率，表明其在刚性、低差异性物体上表现强劲。
• 在FGVC Aircraft数据集上，该方法达到92.8%的top-1准确率，表明其在多样化细粒度类别上具备良好泛化能力。
• 消融实验表明，结合CA-Module、AE-Module与中心损失可达到88.3%的准确率，为所有配置中的最高值，证实各组件间的协同效应。
• Grad-CAM可视化结果表明，PCA-Net会关注多个判别性区域（如翅膀、爪子、鸟喙），而ResNet-50仅聚焦于显著区域（如鸟喙）。
• 消融研究显示，仅使用CA-Module可将准确率提升至86.8%，仅使用AE-Module可提升至86.5%，而两者结合并引入中心损失时达到最佳结果88.3%。

Figure 2: The framework of the progressive co-attention network (PCA-Net). The CA-Module can model the channel-wise interaction within a pair of same-category images to focus on the prominent areas with common characteristics. The AE-Module can erase the images to distract attention to other areas t