[论文解读] Region Comparison Network for Interpretable Few-shot Image Classification

Zhiyu Xue, Lixin Duan+3 more|arXiv (Cornell University)|Sep 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用 10

一句话总结

本文提出区域对比网络（RCN），一种基于度量学习的可解释少样本图像分类框架，通过识别并加权支持集与查询集图像中的显著区域，实现对分类决策的可解释性分析。通过引入区域激活映射（RAM）与区域重要性准则，RCN实现了视觉可解释性，并能跨类别泛化出原型部件，在四个基准数据集上超越基线模型。

ABSTRACT

While deep learning has been successfully applied to many real-world computer vision tasks, training robust classifiers usually requires a large amount of well-labeled data. However, the annotation is often expensive and time-consuming. Few-shot image classification has thus been proposed to effectively use only a limited number of labeled examples to train models for new classes. Recent works based on transferable metric learning methods have achieved promising classification performance through learning the similarity between the features of samples from the query and support sets. However, rare of them explicitly considers the model interpretability, which can actually be revealed during the training phase. For that, in this work, we propose a metric learning based method named Region Comparison Network (RCN), which is able to reveal how few-shot learning works as in a neural network as well as to find out specific regions that are related to each other in images coming from the query and support sets. Moreover, we also present a visualization strategy named Region Activation Mapping (RAM) to intuitively explain what our method has learned by visualizing intermediate variables in our network. We also present a new way to generalize the interpretability from the level of tasks to categories, which can also be viewed as a method to find the prototypical parts for supporting the final decision of our RCN. Extensive experiments on four benchmark datasets clearly show the effectiveness of our method over existing baselines.

研究动机与目标

• 为解决少样本图像分类模型中可解释性不足的问题，特别是理解哪些图像区域对分类决策有贡献。
• 开发一种方法，显式建模支持图像与查询图像中显著区域之间的关系，以提升决策过程的透明度。
• 将可解释性从单个支持-查询图像对推广至整个类别层级，识别每种类别的原型部件。
• 引入一种可视化技术（RAM），直观解释网络中间激活与区域相似性。
• 提供一种基于相似性权重统计分布的定量准则，用于评估少样本分类中区域的重要性。

提出的方法

• RCN框架首先使用特征提取器将支持图像与查询图像编码为深度特征，随后通过区域匹配网络计算对应区域之间的相似性得分。
• 区域元学习器在最后一层动态生成区域权重，通过可学习的线性组合将区域相似性直接关联至最终分类得分。
• 区域激活映射（RAM）可视化中间相似性得分与区域权重，实现对模型注意力机制的直观解释。
• 基于区域权重的高斯分布统计准则计算重要性得分（I_j），其中更高的μ_j与更低的σ_j表示更具代表性、原型化的区域。
• 泛化方法通过聚合多个支持-查询图像对的相似性得分，利用权重的均值与标准差识别类别层级的原型部件。
• 模型移除零权重区域向量，聚焦于有意义区域，从而提升可解释性并减少噪声。

实验结果

研究问题

• RQ1 在查询图像中，哪些特定区域与支持图像中的区域最为相似，它们如何贡献于最终分类？
• RQ2 如何在区域层面可视化并解释少样本学习模型的内部推理过程？
• RQ3 能否将可解释性从单个图像对推广至整个类别层级，识别出定义类别的原型部件？
• RQ4 在数据稀缺条件下，哪些统计指标可量化区域在表征类别中的重要性？
• RQ5 模型的注意力机制与人类类物体识别相比如何，是否聚焦于关键部件如喙或尾部？

主要发现

• RCN模型在四个基准数据集（CUB-200、MiniImageNet、Tiered-Imagenet与FG-WHISK）上达到最先进性能，证明其在少样本分类中的有效性。
• 区域激活映射（RAM）成功可视化了对分类最相关的图像区域，显示模型聚焦于如喙或尾部等判别性部件，与人类感知一致。
• 基于区域相似性权重均值与方差的重要性准则I_j，能有效识别原型部件——例如，红狐雀的区域8与黑 tern 鸟的区域7被正确识别为关键特征。
• 泛化方法实现了类别层级的可解释性，使模型能够识别某一类别下所有实例的代表性区域，而不仅限于单对图像。
• 受学习区域权重引导的模型注意力机制，在最终决策层中优于缺乏显式可解释性的注意力机制。
• 实验结果证实，RCN框架在保证高准确率的同时具备高可解释性，适用于对模型透明度要求较高的现实应用场景。