[论文解读] StarNet: towards weakly supervised few-shot detection and explainable few-shot classification

Leonid Karlinsky, Joseph Shtok+9 more|arXiv (Cornell University)|Mar 15, 2020

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

StarNet 引入了一种端到端可微分的非参数星模型分类头，实现了仅使用图像级别标签的弱监督少样本检测与可解释的少样本分类。通过星模型对查询图像和支持图像进行几何对齐，该方法在 CUB 和 ImageNetLOC-FS 上取得了最先进性能，同时实现了可解释的预测定位。

ABSTRACT

Few-shot learning for classification has advanced significantly in recent years. Yet, these approaches rarely provide interpretability related to their decisions or localization of objects in the scene. In this paper, we introduce StarNet, featuring an end-to-end differentiable non-parametric star-model classification head. Through this head, the backbone is meta-trained using only image-level labels to produce good features for classifying previously unseen categories of few-shot test tasks using a star-model that geometrically matches between the query and support images. This also results in localization of corresponding object instances (on the query and best matching support images), providing plausible explanations for StarNet's class predictions. We evaluate StarNet on multiple few-shot classification benchmarks attaining significant gains on CUB and ImageNetLOC-FS. In addition, we test the proposed approach on the previously unexplored and challenging task of Weakly Supervised Few-Shot Object Detection (WS-FSOD), obtaining significant improvements over the baselines.

研究动机与目标

• 解决现有少样本分类方法中可解释性不足与目标定位缺失的问题。
• 在仅提供图像级别标签的弱监督条件下，实现少样本目标检测。
• 开发一种元学习框架，利用查询图像与支持图像之间的几何对齐，提升少样本泛化能力。
• 通过在查询图像和支持图像中定位对应物体实例，为模型预测提供合理视觉解释。
• 将少样本学习的应用范围扩展到具有挑战性的弱监督少样本目标检测（WS-FSOD）任务。

提出的方法

• 引入一种可微分的非参数星模型分类头，基于几何一致性学习查询图像与支持图像之间的特征匹配。
• 仅使用图像级别标签对主干网络进行元训练，以提取新型少样本类别下的判别性特征。
• 利用星模型在查询图像与支持图像的特征之间强制实现空间对应关系，实现联合特征对齐与分类。
• 利用星模型生成的注意力图在查询图像和支持图像中定位物体实例，实现可解释性。
• 通过反向传播实现端到端训练，使主干网络与星模型头能够联合优化。
• 将学习到的特征应用于少样本分类与弱监督少样本目标检测任务。

实验结果

研究问题

• RQ1 弱监督少样本分类模型是否能通过局部注意力实现高准确率与可解释性？
• RQ2 通过星模型实现的几何特征匹配在新类别上的少样本泛化能力上能提升到何种程度？
• RQ3 该框架能否扩展到无需边界框标注的弱监督少样本目标检测任务？
• RQ4 星模型在查询图像和支持图像中定位相关物体区域以提供解释的效率如何？
• RQ5 所提出方法在 CUB 和 ImageNetLOC-FS 等具有挑战性的少样本基准上是否优于现有基线方法？

主要发现

• StarNet 在 CUB 少样本分类基准上实现了显著的性能提升，优于先前方法。
• 该模型在 ImageNetLOC-FS 上取得了最先进结果，证明其在复杂、细粒度少样本分类任务中具有强大的泛化能力。
• StarNet 在新提出的弱监督少样本目标检测（WS-FSOD）基准上实现了显著改进，超越了现有基线方法。
• 星模型头能够准确地在查询图像和支持图像中定位物体实例，为预测提供视觉解释。
• 在元训练阶段仅使用图像级别标签，即可实现有效的少样本泛化，无需边界框标注。
• 可微分的星模型头支持端到端训练，提升了特征对齐与分类性能。