[论文解读] One-Class Meta-Learning: Towards Generalizable Few-Shot Open-Set Classification

Jedrzej Kozerawski, Matthew Turk|arXiv (Cornell University)|Sep 14, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了两种新颖的元学习方法——Meta-BCE 和 OCML，用于少样本单类及多类开放集分类，使任何现有的少样本学习模型都能在不微调或性能下降的情况下检测未知类别。该方法在 miniImageNet、tieredImageNet 和 CUB-200-2011 数据集上取得了最先进性能，在开放集与闭集设置下均优于先前方法，尤其在低样本设置下表现突出。

ABSTRACT

Real-world classification tasks are frequently required to work in an open-set setting. This is especially challenging for few-shot learning problems due to the small sample size for each known category, which prevents existing open-set methods from working effectively; however, most multiclass few-shot methods are limited to closed-set scenarios. In this work, we address the problem of few-shot open-set classification by first proposing methods for few-shot one-class classification and then extending them to few-shot multiclass open-set classification. We introduce two independent few-shot one-class classification methods: Meta Binary Cross-Entropy (Meta-BCE), which learns a separate feature representation for one-class classification, and One-Class Meta-Learning (OCML), which learns to generate one-class classifiers given standard multiclass feature representation. Both methods can augment any existing few-shot learning method without requiring retraining to work in a few-shot multiclass open-set setting without degrading its closed-set performance. We demonstrate the benefits and drawbacks of both methods in different problem settings and evaluate them on three standard benchmark datasets, miniImageNet, tieredImageNet, and Caltech-UCSD-Birds-200-2011, where they surpass the state-of-the-art methods in the few-shot multiclass open-set and few-shot one-class tasks.

研究动机与目标

• 为解决少样本开放集分类的挑战，标准方法因每类样本有限及闭集假设而失效。
• 开发元学习方法，使少样本模型在训练过程中无需引入单独的背景类别，即可检测未知类别。
• 设计在保持高闭集准确率的同时，为现有少样本学习框架添加鲁棒开放集检测能力的方法。
• 实现有效的少样本单类分类（n=1），其中现有基于 Softmax 的方法因局限而失效。
• 通过作为即插即用模块添加方法，确保与任何现有少样本学习模型兼容，无需重新训练。

提出的方法

• Meta-BCE 使用二元交叉熵损失为单类分类训练独立的特征表示，并通过元学习优化，使其能泛化到未见过的单类样本。
• OCML 通过元学习的分类头，从标准多类特征表示中学习生成单类分类器，实现在少样本设置下的开放集检测。
• 两种方法均作为即插即用模块训练于现有少样本学习模型（如 FEAT）之上，不修改基础模型的训练过程。
• 与依赖未知类别数据的先前开放集方法不同，本方法在训练过程中无需背景或未知类别数据。
• Meta-BCE 优化于高样本设置（k ≥ 5），而 OCML 针对低样本（k=1）场景设计，基于性能权衡的实证结果。
• 该方法利用元学习适应少样本单类与多类开放集任务，泛化于不同 n-way 和 k-shot 配置。

实验结果

研究问题

• RQ1 元学习能否有效应用于仅在支持集中存在一个类别的少样本单类分类？
• RQ2 如何增强现有少样本学习模型以检测未知类别，同时避免微调或性能下降？
• RQ3 在少样本开放集设置下，训练过程中无需背景类别数据的方法是否优于需要此类数据的方法？
• RQ4 单类检测性能如何随支持样本数量（k）变化？
• RQ5 所提出方法能否在不同少样本基准和网络架构上实现泛化？

主要发现

• 在 tieredImageNet 的 1-shot 设置下，FEAT + OCML 达到 67.76% 的归一化准确率，优于所有基线方法。
• 在 miniImageNet 的 5-shot 设置下，FEAT + Meta-BCE 达到 73.32% 的归一化准确率，超越当前最先进水平。
• Meta-BCE 在 miniImageNet 上使用 ResNet-18 和 k=5 时达到 70.98% 的归一化准确率，而 OCML 在 k=1 时达到 57.60%。
• 所提方法未降低闭集准确率，而 Entropic Open-Set Loss 和 Objectosphere 则表现出性能下降。
• 在单类设置下，OCML 和 Meta-BCE 优于基于 Softmax 的方法（如 PEELER、OpenMax），后者因 Softmax 局限而失效。
• 在 CUB-200-2011 上，FEAT + OCML 在 1-shot 下达到 60.21% 的归一化准确率，FEAT + Meta-BCE 在 5-shot 下达到 72.04%，均为当前最先进结果。