[论文解读] Task-Adaptive Negative Class Envision for Few-Shot Open-Set Recognition

Shiyuan Huang, Jiawei Ma+2 more|arXiv (Cornell University)|Dec 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用 4

一句话总结

本文提出了一种用于少样本开放集识别（FSOR）的任务自适应负类构想方法，通过从少样本样本中动态生成负原型来学习自适应的拒绝边界，从而消除手动阈值调优的需要。该方法通过引入类相关性感知的负样本生成方式，将阈值自适应机制整合到学习过程中，在少样本开放集识别（FSOR）和广义少样本开放集识别（GFSOR）基准上均提升了性能。

ABSTRACT

We study the problem of few-shot open-set recognition (FSOR), which learns a recognition system capable of both fast adaptation to new classes with limited labeled examples and rejection of unknown negative samples. Traditional large-scale open-set methods have been shown ineffective for FSOR problem due to data limitation. Current FSOR methods typically calibrate few-shot closed-set classifiers to be sensitive to negative samples so that they can be rejected via thresholding. However, threshold tuning is a challenging process as different FSOR tasks may require different rejection powers. In this paper, we instead propose task-adaptive negative class envision for FSOR to integrate threshold tuning into the learning process. Specifically, we augment the few-shot closed-set classifier with additional negative prototypes generated from few-shot examples. By incorporating few-shot class correlations in the negative generation process, we are able to learn dynamic rejection boundaries for FSOR tasks. Besides, we extend our method to generalized few-shot open-set recognition (GFSOR), which requires classification on both many-shot and few-shot classes as well as rejection of negative samples. Extensive experiments on public benchmarks validate our methods on both problems.

研究动机与目标

• 解决少样本开放集识别（FSOR）中阈值调优的挑战，其中在不同任务间手动校准不可靠。
• 克服传统大规模开放集方法在少样本开放集识别（FSOR）典型低数据场景下的局限性。
• 通过学习动态、任务特定的拒绝边界来提升拒绝性能，使其适应少样本上下文。
• 将框架扩展至广义少样本开放集识别（GFSOR），其中同时存在少样本类、多类样本类以及未知类。
• 将负原型生成整合到分类器训练过程中，使模型具备对未知样本的内在敏感性。

提出的方法

• 在少样本闭集分类器基础上，为每个少样本任务的支撑集额外引入负原型。
• 利用少样本样本之间的类相关性生成负原型，以确保语义相关性和多样性。
• 通过优化分类器以区分已知类别与动态生成的负原型，学习动态拒绝边界。
• 将拒绝边界表述为学习到的负原型的函数，实现在无需外部阈值调优情况下的任务自适应。
• 通过联合建模已知的少样本类和多类样本类，将框架扩展至GFSOR，同时保持对未知样本的鲁棒拒绝能力。
• 使用统一目标端到端训练模型，该目标结合了基于生成负原型的分类与开放集判别。

实验结果

研究问题

• RQ1 能否通过从少样本样本中生成负原型，实现无需手动阈值调优的动态、任务自适应拒绝边界？
• RQ2 在负原型生成中引入类相关性，如何提升少样本开放集识别中的泛化能力和拒绝性能？
• RQ3 所提出方法在更复杂的广义少样本开放集识别（GFSOR）设置中具有多大程度的泛化能力？
• RQ4 与依赖固定阈值策略的现有FSOR方法相比，所提方法的性能如何？
• RQ5 将负类构想整合到学习过程中，是否能提升在多样化少样本任务中开放集识别的鲁棒性与一致性？

主要发现

• 所提方法通过学习任务自适应的拒绝边界，在公开的少样本开放集识别基准上实现了最先进性能。
• 通过利用类相关性生成负原型，模型在多样化少样本任务中对未知样本的泛化能力与鲁棒性均得到提升。
• 该方法消除了对人工阈值调优的需求，而这是现有FSOR方法的主要局限。
• 在广义少样本开放集识别（GFSOR）设置下，该方法在少样本类和多类样本类上均保持优异性能，同时有效拒绝未知样本。
• 大量消融实验表明，基于类相关性的负原型生成方法相比随机或非相关负采样，显著提升了拒绝准确率。