[论文解读] Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning

Hongguang Zhang, Piotr Koniusz+3 more|arXiv (Cornell University)|Jan 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 5

一句话总结

本文提出了一种新型少样本学习范式——绝对-相对学习（ArL），通过语义注释联合优化类别概念识别（绝对学习）与真实、软性的相似性关系（相对学习）。通过将类别标签与属性或word2vec-based关系监督相结合，ArL在tiered-ImageNet和Open MIC等基准数据集上将少样本准确率提升了高达4%，即使在无监督设置下亦能实现性能增益。

ABSTRACT

The majority of existing few-shot learning methods describe image relations with binary labels. However, such binary relations are insufficient to teach the network complicated real-world relations, due to the lack of decision smoothness. Furthermore, current few-shot learning models capture only the similarity via relation labels, but they are not exposed to class concepts associated with objects, which is likely detrimental to the classification performance due to underutilization of the available class labels. To paraphrase, children learn the concept of tiger from a few of actual examples as well as from comparisons of tiger to other animals. Thus, we hypothesize that in fact both similarity and class concept learning must be occurring simultaneously. With these observations at hand, we study the fundamental problem of simplistic class modeling in current few-shot learning methods. We rethink the relations between class concepts, and propose a novel Absolute-relative Learning paradigm to fully take advantage of label information to refine the image representations and correct the relation understanding in both supervised and unsupervised scenarios. Our proposed paradigm improves the performance of several the state-of-the-art models on publicly available datasets.

研究动机与目标

• 解决现有少样本学习方法仅依赖二值相似性标签所导致的决策不平滑问题，并克服其难以建模现实世界复杂关系的局限性。
• 通过在训练流程中显式引入类别概念学习，解决当前基于关系模型对类别标签利用不足的问题。
• 构建一个统一框架，通过同时教授模型识别物体概念与理解其相对相似性，模拟人类学习方式。
• 将所提出的范式扩展至无监督少样本学习，实现在推理阶段无需使用标注训练数据即可获得性能提升。
• 证明通过反馈连接整合绝对学习与相对学习，可显著提升模型泛化能力与鲁棒性，尤其在低数据场景下表现更优。

提出的方法

• 提出双流学习框架：绝对学习（AL）用于预测物体类别身份，相对学习（RL）用于建模图像对之间的软性、基于语义的相似性。
• 使用语义嵌入（属性或word2vec）生成连续的、真实的相似性标签，替代僵化的二值{0,1}标签，从而更准确地建模细微的视觉差异。
• 在多任务学习设置中整合AL与RL模块，使各流的预测结果通过反馈机制优化对方的表示。
• 设计ArL的无监督变体，利用数据增强（如旋转、翻转、色彩抖动）作为训练期间绝对学习的伪标签。
• 将ArL框架应用于SOTA模型（如Relation Net、SoSN和SalNet），以它们的关系网络作为主干，并在关系头处注入语义监督。
• 通过AL与RL输出的可解释特征融合，增强最终分类决策，从而提升泛化能力与可解释性。

Figure 1 : Our few-shot learning paradigm. Absolute Learning (AL) refers to the strategy where a pipeline learns to predict absolute object information e.g. , object or concept class. Relative Learning (RL) denotes similarity (relation) learning with the use of binary $\{0,1\}$ and/or soft $[0;1]$ s

实验结果

研究问题

• RQ1 能否用连续的、基于语义的关系监督替代二值相似性标签，从而提升少样本学习性能？
• RQ2 联合学习类别概念与图像关系是否比孤立学习二者具有更好的泛化能力？
• RQ3 所提出的绝对-相对学习（ArL）范式能否在无训练标签可用的情况下，有效扩展至无监督少样本学习？
• RQ4 整合多种标签抽象形式（类别、属性、word2vec）对模型性能与鲁棒性有何影响？
• RQ5 绝对预测提供的反馈在少样本设置下，能在多大程度上提升相对关系表示的质量？

主要发现

• 所提出的ArL框架在tiered-ImageNet上的1-shot与5-shot少样本学习准确率相较基线模型最高提升4.2%，在5-shot协议下达到57.21%的准确率。
• 在Open MIC数据集上，采用ArL的无监督SoSN变体（U-SoSN + ArL）在所有评估协议下均优于有监督的SoSN，证明了无监督ArL在低数据场景下的有效性。
• 在ArL中使用基于word2vec的语义关系可使5-shot学习准确率相较基线SoSN提升1.7%，表明软性、连续监督相比二值标签更具优势。
• 消融研究证实，基于属性的语义监督在所有关系监督类型中带来最强的性能增益，尤其在5-shot设置下表现突出。
• 结合多个绝对学习模块（类别、属性、word2vec）并未进一步提升准确率，表明属性已提供清晰且充分的概念学习信号。
• 无监督ArL变体在tiered-ImageNet上的1-shot与5-shot学习准确率分别达到42.31%与57.21%，尽管训练过程中未使用任何标注数据，仍优于先前的无监督方法。

Figure 2 : The proposed pipeline for our Absolute-relative Learning (supervised setting). It consists of three blocks, namely (i) feature encoder to extract the image representations, (ii) Absolute Learning module to enhance the feature quality with auxiliary supervision, (iii) Relative Learning mod