[论文解读] Realistic Evaluation of Transductive Few-Shot Learning

Olivier Veilleux, Malik Boudiaf+2 more|arXiv (Cornell University)|Apr 24, 2022

Machine Learning and ELM被引用 7

一句话总结

本文通过将查询集的类别分布建模为狄利克雷分布的边缘分布，提出了一种对归纳少样本学习的现实评估，揭示了当前最先进归纳方法在类别不平衡下性能显著下降——通常低于归纳基线。本文提出一种基于 $\alpha$-散度的损失函数，该函数泛化了互信息，可在多个基准上实现对类别不平衡设置的优越鲁棒性与性能。

ABSTRACT

Transductive inference is widely used in few-shot learning, as it leverages the statistics of the unlabeled query set of a few-shot task, typically yielding substantially better performances than its inductive counterpart. The current few-shot benchmarks use perfectly class-balanced tasks at inference. We argue that such an artificial regularity is unrealistic, as it assumes that the marginal label probability of the testing samples is known and fixed to the uniform distribution. In fact, in realistic scenarios, the unlabeled query sets come with arbitrary and unknown label marginals. We introduce and study the effect of arbitrary class distributions within the query sets of few-shot tasks at inference, removing the class-balance artefact. Specifically, we model the marginal probabilities of the classes as Dirichlet-distributed random variables, which yields a principled and realistic sampling within the simplex. This leverages the current few-shot benchmarks, building testing tasks with arbitrary class distributions. We evaluate experimentally state-of-the-art transductive methods over 3 widely used data sets, and observe, surprisingly, substantial performance drops, even below inductive methods in some cases. Furthermore, we propose a generalization of the mutual-information loss, based on $α$-divergences, which can handle effectively class-distribution variations. Empirically, we show that our transductive $α$-divergence optimization outperforms state-of-the-art methods across several data sets, models and few-shot settings. Our code is publicly available at https://github.com/oveilleux/Realistic_Transductive_Few_Shot.

研究动机与目标

• 挑战当前少样本基准中对查询集类别平衡的假设，该假设人为地有利于归纳方法。
• 评估最先进归纳少样本学习方法在查询集中真实、任意类别分布下的鲁棒性。
• 提出一种基于 $\alpha$-散度的互信息损失泛化方法，以更好地处理类别分布偏移。
• 通过引入基于狄利克雷分布采样的真实类别分布，为归纳与归纳少样本学习提供更公平的基准测试协议。

提出的方法

• 将查询集的边际类别概率建模为狄利克雷分布的随机变量，以在单纯形内采样真实、任意的类别分布。
• 通过从参数向量 $\bm{a}$ 的狄利克雷分布中采样标签比例，将现有少样本基准适配为包含类别不平衡任务，从而控制不平衡程度。
• 提出一种基于 $\alpha$-散度的新型损失函数，该函数泛化了互信息，并在训练和推理过程中对变化的标签边缘分布具有鲁棒性。
• 引入 $\alpha$-TIM，一种优化 $\alpha$-散度损失的归纳方法，以在类别不平衡下提升泛化能力。
• 采用验证协议以调整 $\alpha$ 超参数，确保在不同不平衡水平下性能的一致性。
• 在三个标准少样本数据集（miniImageNet、tieredImageNet、CIFAR-FS）上，使用标准主干网络和少样本设置评估方法。

实验结果

研究问题

• RQ1 当在真实、不平衡的查询集分布下评估时，最先进归纳少样本学习方法的表现如何，而非在完全平衡的分布下？
• RQ2 当前归纳方法在元训练期间隐式或显式编码的类别平衡先验依赖程度如何？
• RQ3 基于 $\alpha$-散度的泛化互信息损失是否能提升归纳少样本学习中对类别分布偏移的鲁棒性？
• RQ4 在类别不平衡下，归纳批量归一化是否仍具有优势，还是在真实设置中会降低性能？
• RQ5 当基准测试协议移除人工类别平衡假设时，归纳方法的性能与归纳基线相比如何？

主要发现

• 最先进归纳方法（包括 TIM 和 PT-MAP）在真实、不平衡查询集下性能下降最高达 18%，部分方法表现甚至低于归纳基线。
• 除非仔细调整边际熵权重 $\lambda$，TIM 的性能在类别不平衡下会急剧下降，凸显其对超参数选择的敏感性。
• 所提出的 $\alpha$-TIM 方法在所有数据集、主干网络和少样本设置下均一致优于现有方法，即使在极端类别不平衡下亦是如此。
• 与 TIM 中依赖 $\lambda$ 调整不同，$\alpha$-TIM 中的 $\alpha$-散度损失对次优 $\alpha$ 值具有鲁棒性，使其在实际部署中更具实用性。
• 结果表明，归纳批量归一化在类别不平衡下会损害性能，与在平衡设置下的既定优势相矛盾。
• 在高不平衡条件下，[33] 中的归纳基线表现更具竞争力，甚至超过大多数归纳方法，表明当前归纳方法的性能增益可能部分源于人工平衡先验。