[论文解读] Prototype Completion with Primitive Knowledge for Few-Shot Learning

Baoquan Zhang, Xutao Li+3 more|arXiv (Cornell University)|Sep 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用 7

一句话总结

该论文提出了一种少样本学习的原型补全框架，利用原始知识（例如部件或属性标注）在基础类别特征已充分聚类时估计更具代表性的原型。通过引入原型补全网络和基于高斯分布的融合策略（利用未标注数据），该方法提升了原型准确性，在miniImageNet、meta-MiniImageNet和CUB数据集上较当前最先进方法实现了2%–9%的分类准确率提升。

ABSTRACT

Few-shot learning is a challenging task, which aims to learn a classifier for novel classes with few examples. Pre-training based meta-learning methods effectively tackle the problem by pre-training a feature extractor and then fine-tuning it through the nearest centroid based meta-learning. However, results show that the fine-tuning step makes very marginal improvements. In this paper, 1) we figure out the key reason, i.e., in the pre-trained feature space, the base classes already form compact clusters while novel classes spread as groups with large variances, which implies that fine-tuning the feature extractor is less meaningful; 2) instead of fine-tuning the feature extractor, we focus on estimating more representative prototypes during meta-learning. Consequently, we propose a novel prototype completion based meta-learning framework. This framework first introduces primitive knowledge (i.e., class-level part or attribute annotations) and extracts representative attribute features as priors. Then, we design a prototype completion network to learn to complete prototypes with these priors. To avoid the prototype completion error caused by primitive knowledge noises or class differences, we further develop a Gaussian based prototype fusion strategy that combines the mean-based and completed prototypes by exploiting the unlabeled samples. Extensive experiments show that our method: (i) can obtain more accurate prototypes; (ii) outperforms state-of-the-art techniques by 2% - 9% in terms of classification accuracy. Our code is available online.

研究动机与目标

• 解决在预训练特征空间中，当新类别样本在空间中分布分散时，估计代表性原型的挑战。
• 揭示为何在基于预训练的元学习中微调特征提取器仅带来微小性能增益。
• 通过引入原始知识（如部件/属性标注）作为先验，改进原型估计。
• 通过鲁棒的原型融合策略，减轻噪声原始知识或基础类别与新类别之间领域差异带来的误差。
• 在不依赖特征提取器微调的前提下，实现最先进性能。

提出的方法

• 该方法将原始知识（如耳朵、腿、眼睛的存在）作为先验信号，引导原型补全。
• 训练原型补全网络（ProtoComNet）以利用从基础类别样本中提取的属性视觉特征，预测完整原型。
• 该框架采用基于高斯分布的原型融合策略，通过使用未标注样本建模原型分布，将基于均值的原型与补全后的原型相结合。
• 该融合策略利用未标注数据估计原型的不确定性和分布，降低噪声先验或领域差异带来的误差。
• 通过在融合后的原型上使用余弦距离的最近邻分类器进行分类。
• 该方法在预训练范式下运行，避免对特征提取器进行微调。

实验结果

研究问题

• RQ1 为何在基于预训练的少样本学习中，微调特征提取器带来的性能增益极小？
• RQ2 当仅有少量标注样本时，能否通过引入部件级或属性级先验来改进原型估计？
• RQ3 如何使原型补全对噪声原始知识或基础类别与新类别之间的差异具有鲁棒性？
• RQ4 通过分布感知融合结合基于均值的原型与补全原型，能否提升分类准确率？
• RQ5 该原型补全框架能否超越现有最先进少样本学习方法？

主要发现

• 预训练特征空间显示，基础类别形成紧凑聚类，而新类别表现出较高方差，解释了为何微调特征提取器收益有限。
• 结合原始知识的原型补全可提升原型准确性，尤其在远离真实类别中心的样本上，1-shot设置下增益更显著。
• 在5类1-shot miniImageNet上，该方法达到73.13%的准确率，比基线高4%，比最先进方法高2%–9%。
• 基于高斯分布的原型融合策略降低了对原始知识噪声的敏感性，在30%噪声水平下仍保持高性能（69.97%准确率，无融合时为51.97%）。
• 消融实验表明，原型补全与融合策略均不可或缺：两者结合在1-shot任务中相比基于均值的融合提升3%，相比仅使用均值原型提升4%。
• 该方法对噪声原始知识具有鲁棒性，使用高斯融合策略可显著缓解性能下降。