[论文解读] Task Discrepancy Maximization for Fine-grained Few-Shot Classification

SuBeen Lee, WonJun Moon+1 more|arXiv (Cornell University)|Jul 4, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出了一种新颖的模块——任务差异最大化（TDM），用于细粒度少样本分类，通过学习特定于类别的通道权重来增强特征判别能力。TDM 使用支持注意模块（SAM）从支持集识别判别性通道，使用查询注意模块（QAM）自适应地强调查询图像中的对象相关通道，显著提升了在 CUB、Aircraft 和 meta-iNat 基准上的准确率。

ABSTRACT

Recognizing discriminative details such as eyes and beaks is important for distinguishing fine-grained classes since they have similar overall appearances. In this regard, we introduce Task Discrepancy Maximization (TDM), a simple module for fine-grained few-shot classification. Our objective is to localize the class-wise discriminative regions by highlighting channels encoding distinct information of the class. Specifically, TDM learns task-specific channel weights based on two novel components: Support Attention Module (SAM) and Query Attention Module (QAM). SAM produces a support weight to represent channel-wise discriminative power for each class. Still, since the SAM is basically only based on the labeled support sets, it can be vulnerable to bias toward such support set. Therefore, we propose QAM which complements SAM by yielding a query weight that grants more weight to object-relevant channels for a given query image. By combining these two weights, a class-wise task-specific channel weight is defined. The weights are then applied to produce task-adaptive feature maps more focusing on the discriminative details. Our experiments validate the effectiveness of TDM and its complementary benefits with prior methods in fine-grained few-shot classification.

研究动机与目标

• 为解决在整体外观高度相似的细粒度类别中难以区分的问题，聚焦于判别性局部细节。
• 克服现有少样本方法对所有特征通道一视同仁的局限性，从而减少在细粒度数据集上的性能损失。
• 开发一种任务自适应的特征对齐机制，根据类别特定的判别能力动态加权通道。
• 通过引入查询感知注意力实现动态适应，降低支持集带来的偏差影响，提升鲁棒性。

提出的方法

• TDM 引入了支持注意模块（SAM），基于支持集特征计算类别特定的通道权重，突出具有高判别能力的通道。
• 采用查询注意模块（QAM），生成与查询相关的通道权重，以强调与对象相关特征，减少噪声并提升定位能力。
• 通过测量单个通道特征图与空间平均特征图之间的相似性来计算通道权重，后者编码了对象级别的语义信息。
• TDM 将 SAM 和 QAM 的权重相结合，生成任务特定、类别特定的通道权重，对特征图进行重加权以提升判别能力。
• 该方法兼容标准度量方式（如欧氏距离和余弦距离），可无缝集成到现有少样本学习框架中。
• 采用平均池化计算参考的空间平均特征图，因其相比最大池化更具抗噪声鲁棒性。

Figure 1 : Effect of the channel weight in the CUB dataset. (a) Existing methods treat channels of feature maps equally. In such case, high variance channels within a class highly likely to disturb the classification task, where channel variance represents the channel-wise variances of feature maps

实验结果

研究问题

• RQ1 学习类别特定的通道权重是否能提升在整体外观高度相似的细粒度数据集上的少样本分类性能？
• RQ2 如何设计一个模块，使其能基于支持集和查询特征动态调整通道重要性，以减少偏差并提升定位能力？
• RQ3 TDM 在细粒度少样本学习基准测试中，相较于现有特征对齐方法，性能提升程度如何？
• RQ4 所提出的方法在不同距离度量和主干网络架构下是否具备鲁棒性与兼容性？

主要发现

• 在 CUB 数据集上，TDM 在 1-shot 设置下达到 69.94% 的准确率，比基线 ProtoNet 提高 7.04 个百分点。
• 在 Aircraft 数据集上，TDM 将 1-shot 准确率从 47.37% 提升至 50.55%，5-shot 准确率从 68.96% 提升至 71.12%。
• 当与 FRN 结合时，TDM 将 meta-iNat 数据集上的 1-shot 准确率从 61.98% 提升至 63.97%，5-shot 准确率从 80.04% 提升至 81.60%。
• 消融实验表明，SAM 和 QAM 均有效且具有互补性，SAM 贡献了 11% 的性能提升，QAM 则持续带来改进。
• TDM 在余弦距离下也保持强性能，表明其与多种度量学习框架兼容。
• 平均池化函数优于最大池化，证实其在特征表示中对噪声具有更强的鲁棒性。

Figure 2 : Visualization of pooling results. Each column shows the locations where each pooling method focuses on the image. The second and third columns visualize the results of average pooling and the max pooling, respectively. GAP tends to concentrate on the object parts in the images, while GMP