[论文解读] Prototype Propagation Networks (PPN) for Weakly-supervised Few-shot Learning on Category Graph

Lu Liu, Tianyi Zhou+4 more|arXiv (Cornell University)|May 10, 2019

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出原型传播网络（PPN），一种元学习框架，利用具有粗粒度类别注释的弱监督数据来提升少样本分类性能。通过基于注意力机制在类别图上传播原型，PPN 提升了 KNN 分类的准确率，在 WS-ImageNet-Pure 和 WS-ImageNet-Mix 上实现了最先进性能，相较于基线方法在 1-shot 设置下最高实现 15% 的相对提升。

ABSTRACT

A variety of machine learning applications expect to achieve rapid learning from a limited number of labeled data. However, the success of most current models is the result of heavy training on big data. Meta-learning addresses this problem by extracting common knowledge across different tasks that can be quickly adapted to new tasks. However, they do not fully explore weakly-supervised information, which is usually free or cheap to collect. In this paper, we show that weakly-labeled data can significantly improve the performance of meta-learning on few-shot classification. We propose prototype propagation network (PPN) trained on few-shot tasks together with data annotated by coarse-label. Given a category graph of the targeted fine-classes and some weakly-labeled coarse-classes, PPN learns an attention mechanism which propagates the prototype of one class to another on the graph, so that the K-nearest neighbor (KNN) classifier defined on the propagated prototypes results in high accuracy across different few-shot tasks. The training tasks are generated by subgraph sampling, and the training objective is obtained by accumulating the level-wise classification loss on the subgraph. The resulting graph of prototypes can be continually re-used and updated for new tasks and classes. We also introduce two practical test/inference settings which differ according to whether the test task can leverage any weakly-supervised information as in training. On two benchmarks, PPN significantly outperforms most recent few-shot learning methods in different settings, even when they are also allowed to train on weakly-labeled data.

研究动机与目标

• 通过将弱监督的粗粒度标签数据整合进元学习框架，提升少样本分类性能。
• 通过利用廉价的层级类别关系，解决少样本学习中标签数据有限的挑战。
• 开发一种原型传播机制，通过类别图在相关类别间迁移知识。
• 利用可重用的图结构计算模型，实现在新任务和新类别上的原型持续适应。

提出的方法

• PPN 在结合弱监督粗粒度标签数据的少样本任务上进行训练，利用类别图建模层级类别关系。
• 注意力机制计算图上边的权重，用于从父类向子类传播原型。
• 通过采样类别图中的子图，使用分层训练目标最小化分类损失。
• 通过反向传播更新原型，使误差信号能从细粒度类别流向粗粒度类别，反之亦然。
• 该框架支持两种推理设置：一种在测试时可访问弱监督数据，另一种不可访问。
• 维护并持续更新原型的计算图，以在新任务中重复使用。

实验结果

研究问题

• RQ1 弱监督的粗粒度标签数据是否能显著提升元学习中的少样本分类性能？
• RQ2 在低数据场景下，通过类别图传播原型如何增强泛化能力？
• RQ3 基于注意力的传播机制是否能有效在语义相关的类别间传递知识？
• RQ4 当弱监督数据与少样本任务无关时，该方法的鲁棒性如何？
• RQ5 即使基线方法也使用弱监督数据进行训练，原型传播机制是否仍能超越标准元学习基线？

主要发现

• 在 WS-ImageNet-Pure 上，PPN 实现了最先进性能，相较于其他方法在 1-shot 分类中实现 15% 的相对提升。
• 在 WS-ImageNet-Pure 上，PPN+ 在所有基线中表现最佳，尤其在 1-shot 设置下，证明了弱监督数据整合的有效性。
• 在 WS-ImageNet-Mix 上，尽管弱监督数据与少样本任务无关，PPN+ 仍实现 10% 的相对提升（1-shot 准确率）。
• 增加传播原型的权重（1−λ）能持续提升验证准确率，证实了传播机制的有效性。
• PPN 的平均每次迭代时间仅比原型网络高出约 10%，表明其在推理阶段计算效率高，计算开销极小。
• 即使弱监督数据未直接关联到少样本任务，模型性能依然强劲，显示出对数据分布偏移的鲁棒性。