[论文解读] Weak-shot Fine-grained Classification via Similarity Transfer

Junjie Chen, Li Niu+2 more|arXiv (Cornell University)|Sep 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 9

一句话总结

该论文提出 SimTrans，一种弱样本细粒度分类方法，通过将来自干净基础类别集合的成对语义相似性迁移至噪声较多的网络收集新类别，实现有效去噪并取得当前最优性能，在广义弱样本设置下，FGVC 数据集上比基线方法最高提升 4.8%，CUB 数据集上最高提升 5.4%。

ABSTRACT

Recognizing fine-grained categories remains a challenging task, due to the subtle distinctions among different subordinate categories, which results in the need of abundant annotated samples. To alleviate the data-hungry problem, we consider the problem of learning novel categories from web data with the support of a clean set of base categories, which is referred to as weak-shot learning. In this setting, we propose a method called SimTrans to transfer pairwise semantic similarity from base categories to novel categories. Specifically, we firstly train a similarity net on clean data, and then leverage the transferred similarity to denoise web training data using two simple yet effective strategies. In addition, we apply adversarial loss on similarity net to enhance the transferability of similarity. Comprehensive experiments demonstrate the effectiveness of our weak-shot setting and our SimTrans method. Datasets and codes are available at https://github.com/bcmi/SimTrans-Weak-Shot-Classification.

研究动机与目标

• 为解决细粒度图像分类中对数据量的高需求挑战，特别是针对缺乏标注数据的新类别。
• 开发一种弱样本学习范式，利用免费获取的网络图像对新类别进行学习，同时依赖一个干净的基础类别集合。
• 通过从基础类别到新类别的成对语义相似性迁移，减轻网络收集数据中的标签噪声。
• 通过在相似性网络上引入对抗性损失，提升相似性迁移能力。
• 证明结合相似性迁移与弱监督学习在细粒度分类中的有效性。

提出的方法

• 在干净基础类别图像上训练相似性网络（SimNet），以预测图像对之间的成对语义相似性。
• 将训练好的 SimNet 迁移至新类别的网络图像，实现跨类别相似性迁移，即使类别集合互不重叠。
• 应用样本加权策略，降低与其他样本差异较大的图像的影响，减少噪声标签的干扰。
• 应用图正则化，使语义相似图像在嵌入空间中的特征更接近，提升对标签噪声的鲁棒性。
• 在相似性网络中引入对抗性损失，提升在基础类别与新类别之间的泛化能力与迁移能力。
• 将基于相似性的去噪方法与在网页数据上训练的主分类器头结合，采用融合策略（Fusion1/Fusion2）以提升性能。

实验结果

研究问题

• RQ1 从干净基础类别集合中学到的成对语义相似性，能否有效迁移至网络收集的新类别图像，实现去噪？
• RQ2 当缺乏专家标注属性或少量样本时，相似性迁移与零样本或少样本学习相比，在性能和实用性上表现如何？
• RQ3 基于迁移相似性的样本加权与图正则化，在弱监督设置下，能在多大程度上提升分类器对标签噪声的鲁棒性？
• RQ4 在广义弱样本学习设置下，即测试数据同时包含基础类别与新类别时，该方法表现如何？
• RQ5 网络图像数量、噪声比例以及主干网络选择对方法的鲁棒性与可扩展性有何影响？

主要发现

• 在 FGVC 数据集上，SimTrans 在广义弱样本学习设置下达到 81.7% 的准确率，比最佳基线方法（Fusion2）高出 2.4 个百分点。
• 在 CUB 数据集上，SimTrans 达到 76.9% 的准确率，比次佳方法（Fusion2）高出 1.9 个百分点。
• 在 Car 数据集上，SimTrans 达到 80.4% 的准确率，比最佳基线方法（Fusion2）高出 2.3 分。
• 该方法在所有三个数据集（Car、CUB、FGVC）上均表现出一致的性能提升，证明其对不同数据规模和领域偏移的鲁棒性。
• 鲁棒性分析表明，当每类网络图像数量超过约 800 张时性能趋于饱和，且在不同噪声比例和主干网络选择下均保持稳定。
• 消融实验表明，将基于相似性的去噪方法（样本加权与图正则化）与弱监督学习相结合，相比单一组件，能获得更优结果。