[论文解读] Transductive Few-shot Learning with Prototype-based Label Propagation by Iterative Graph Refinement

Hao Zhu, Piotr Koniusz|arXiv (Cornell University)|Apr 23, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出protoLP，一种新颖的归纳少样本学习框架，通过迭代图优化统一了基于原型的学习与标签传播。通过动态更新原型并基于标签预测重新估计图结构，protoLP在mini-ImageNet、tiered-ImageNet、CIFAR-FS和CUB数据集上实现了最先进性能，尤其在类别不平衡设置下表现优异，同时保持了快速推理速度，并消除了对均匀类别先验假设的依赖。

ABSTRACT

Few-shot learning (FSL) is popular due to its ability to adapt to novel classes. Compared with inductive few-shot learning, transductive models typically perform better as they leverage all samples of the query set. The two existing classes of methods, prototype-based and graph-based, have the disadvantages of inaccurate prototype estimation and sub-optimal graph construction with kernel functions, respectively. In this paper, we propose a novel prototype-based label propagation to solve these issues. Specifically, our graph construction is based on the relation between prototypes and samples rather than between samples. As prototypes are being updated, the graph changes. We also estimate the label of each prototype instead of considering a prototype be the class centre. On mini-ImageNet, tiered-ImageNet, CIFAR-FS and CUB datasets, we show the proposed method outperforms other state-of-the-art methods in transductive FSL and semi-supervised FSL when some unlabeled data accompanies the novel few-shot task.

研究动机与目标

• 为解决现有基于原型和基于图的归纳少样本学习方法的局限性，这些方法存在原型估计不准确和图结构固定、次优的问题。
• 将原型学习与标签传播统一为一个端到端框架，联合优化原型和图结构。
• 消除对均匀类别先验假设的依赖，该假设在类别不平衡的少样本设置下会损害性能。
• 在多样化数据集、主干网络和数据增强策略下提升泛化能力和鲁棒性。
• 在保持最先进准确率的同时，实现与归纳方法相当的高速推理。

提出的方法

• 该方法基于原型与查询样本之间的相似性构建图，而非样本之间的相似性，从而在优化过程中实现图的动态更新。
• 交替求解核回归（或最优传输）问题以将样本分配给原型，并执行基于原型的标签传播以预测软标签分数。
• 通过预测的标签分布迭代更新原型，实现更精细的表示学习。
• 标签传播步骤采用参数化设计，消除了对均匀类别先验假设的需求，提升了对类别不平衡的鲁棒性。
• 该框架即插即用，兼容任意预训练主干网络，适用于多种少样本学习流水线。
• 通过交替最小化联合目标函数进行优化，平衡原型分配与标签预测。

实验结果

研究问题

• RQ1 一个能迭代优化原型和图结构的统一框架，是否能超越现有的基于原型和基于图的归纳少样本学习方法？
• RQ2 消除均匀类别先验假设是否能提升在类别不平衡少样本基准上的性能？
• RQ3 所提方法是否能在保持最先进准确率的同时，维持高速推理速度，适用于多样化数据集和主干网络？
• RQ4 基于原型-样本关系的动态图构建，与固定核基图相比，在鲁棒性和准确性方面表现如何？
• RQ5 该方法在不同数据增强策略和模型架构下的泛化能力如何？

主要发现

• 在mini-ImageNet和tiered-ImageNet上，使用WRN-28-10主干网络时，protoLP在1-shot和5-shot设置下分别达到84.69%和89.47%的准确率，优于先前最先进方法。
• 在不平衡设置（α=2）下，1-shot设置中，protoLP在mini-ImageNet、tiered-ImageNet和CUB上分别较基线方法提升3.3%、5.6%和6.5%。
• 在CUB数据集上使用ResNet-12主干网络时，protoLP在不平衡1-shot设置下达到82.22%的准确率，显著优于PT-MAP（65.1%）和LaplacianShot（73.7%）。
• 使用DenseNet和MobileNet主干网络时，protoLP在mini-ImageNet 1-shot上分别超过TAFFSL和LaplacianShot 3.7%和2.2%，在tiered-ImageNet 1-shot上分别超过5.8%和1.8%。
• 该方法收敛迅速，损失在10次迭代内即稳定，每轮推理仅需数毫秒——比iLPC和ICI快约10倍。
• protoLP对类别不平衡具有鲁棒性，且无需均匀先验假设，而像Sinkhorn或PT-MAP等方法在不平衡设置下准确率显著下降。