[论文解读] Relational Generalized Few-Shot Learning

Xiahan Shi, Leonard Salewski+3 more|arXiv (Cornell University)|Jul 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用 16

一句话总结

本文提出图卷积全局原型网络（GcGPN），一种新颖的关系型广义少样本学习框架，通过加权图建模类间关系，联合嵌入已见类与新类原型。通过应用图卷积传播关系信息，GcGPN 在 miniImageNet 和 CUB 基准上均取得最先进性能，显著提升了在已见类与新类联合分类任务中的泛化能力与全局一致性。

ABSTRACT

Transferring learned models to novel tasks is a challenging problem, particularly if only very few labeled examples are available. Although this few-shot learning setup has received a lot of attention recently, most proposed methods focus on discriminating novel classes only. Instead, we consider the extended setup of generalized few-shot learning (GFSL), where the model is required to perform classification on the joint label space consisting of both previously seen and novel classes. We propose a graph-based framework that explicitly models relationships between all seen and novel classes in the joint label space. Our model Graph-convolutional Global Prototypical Networks (GcGPN) incorporates these inter-class relations using graph-convolution in order to embed novel class representations into the existing space of previously seen classes in a globally consistent manner. Our approach ensures both fast adaptation and global discrimination, which is the major challenge in GFSL. We demonstrate the benefits of our model on two challenging benchmark datasets.

研究动机与目标

• 解决广义少样本学习（GFSL）的挑战，即模型需在极少标注样本下对已见类与新类进行分类。
• 克服标准少样本学习的局限，后者仅关注新类的判别能力，而未保留整个标签空间的全局一致性。
• 提出统一框架，显式建模所有已见类与新类之间的类间关系，以提升原型的泛化能力与判别能力。
• 通过图卷积神经网络端到端学习关系原型，实现对未见任务的快速适应与鲁棒性能。
• 通过可微且可扩展的方式，利用辅助信息（如属性、分类体系）作为关系先验，实现最先进性能。

提出的方法

• 利用属性、语义嵌入或相似度度量等辅助信息，构建表示类间关系的加权图。
• 初始化类原型：新类原型通过支持集特征（经平均池化）获得，已见类原型作为可学习参数。
• 在联合标签空间中应用图卷积网络（GCNs），跨所有类传播关系信息，以全局一致的方式更新原型。
• 使用查询特征与更新后原型之间的余弦相似度进行分类，实现在推理阶段的快速推理。
• 在 N 类 K 样本任务上采用元学习设置与课程式训练，通过变化的新类进行端到端训练。
• 集成辅助操作（如特征变换、归一化）并探索消融变体，以评估关系建模与网络组件的影响。

实验结果

研究问题

• RQ1 通过关系图建模类间关系，是否能在广义少样本学习中超越标准少样本学习，实现更好的泛化能力？
• RQ2 引入全局关系结构后，如何在新类的快速适应能力与已见类的判别性能之间取得平衡？
• RQ3 不同类型的辅助信息（如属性 vs. 分类体系）在多大程度上影响关系型 GFSL 模型的性能？
• RQ4 使用图卷积操作进行原型优化，是否相比标准原型网络能带来更好的泛化能力？
• RQ5 所提出的框架是否能灵活扩展以集成多种关系操作与辅助模块，而不会损害性能？

主要发现

• GcGPN 在 1-shot 与 5-shot 广义少样本学习基准上均取得最先进性能，在 miniImageNet 上实现 50.35% 的联合-联合准确率与 45.92% 的调和平均值。
• 在 CUB 上，GcGPN 在 1-shot 设置下实现 50.62% 的联合-联合准确率与 49.53% 的调和平均值，显著优于先前方法（包括 DFSLwoF）。
• 与基线方法相比，模型将新类-联合准确率提升超过 10 个百分点，表明新类在全局标签空间中得到更好整合。
• 辅助操作（如特征变换，GcGPN-aux-fc θB）可提升性能，尤其在低样本设置下，证明更强表示能力的优势。
• 在 CUB 上使用更丰富的细粒度属性信息相比基于分类体系的相似度，可带来约 3% 的准确率增益，凸显高质量关系先验的重要性。
• 消融研究证实，若仅将关系建模限制在新类-已见类之间，性能会下降，验证了在所有类间进行全局关系传播的必要性。