[论文解读] Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning

Huiwon Jang, Hankook Lee+1 more|arXiv (Cornell University)|Mar 2, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 PsCo，一种新颖的无监督元学习框架，用于少样本分类，通过动量网络和动量队列逐步改进伪标签并从无标签数据中构建多样化的任务。通过结合在线、动态的任务构建与自监督对比学习，PsCo 在 Omniglot 和 miniImageNet 上实现了最先进性能，并在大规模 ImageNet 上有效扩展，优于先前的无监督元学习方法。

ABSTRACT

Unsupervised meta-learning aims to learn generalizable knowledge across a distribution of tasks constructed from unlabeled data. Here, the main challenge is how to construct diverse tasks for meta-learning without label information; recent works have proposed to create, e.g., pseudo-labeling via pretrained representations or creating synthetic samples via generative models. However, such a task construction strategy is fundamentally limited due to heavy reliance on the immutable pseudo-labels during meta-learning and the quality of the representations or the generated samples. To overcome the limitations, we propose a simple yet effective unsupervised meta-learning framework, coined Pseudo-supervised Contrast (PsCo), for few-shot classification. We are inspired by the recent self-supervised learning literature; PsCo utilizes a momentum network and a queue of previous batches to improve pseudo-labeling and construct diverse tasks in a progressive manner. Our extensive experiments demonstrate that PsCo outperforms existing unsupervised meta-learning methods under various in-domain and cross-domain few-shot classification benchmarks. We also validate that PsCo is easily scalable to a large-scale benchmark, while recent prior-art meta-schemes are not.

研究动机与目标

• 解决现有无监督元学习方法依赖固定、低质量伪标签或复杂生成模型的局限性。
• 开发一种可扩展的自监督框架，在元学习过程中无需人工标注标签即可逐步改进伪标签。
• 仅使用无标签数据和过去批次的在线记忆，构建多样化的少样本分类任务。
• 通过适配自监督学习组件（如动量网络和对比学习）弥合自监督学习与无监督元学习之间的差距。
• 在无需监督的情况下，实现在 ImageNet 等大规模基准上的有效少样本分类。

提出的方法

• PsCo 使用当前小批量作为查询，从先前批次的动量队列中选择 $K$ 个支持样本，构建 $N$-way $K$-shot 任务。
• 通过维持主干网络参数的指数移动平均，利用动量网络生成稳定且持续演化的伪标签。
• 对查询与支持样本之间的相似度矩阵应用 Sinkhorn-Knopp 算法，分配可微伪标签，支持端到端训练。
• 框架采用对比学习目标，通过拉近正样本对（查询与其分配的支持样本）并推开负样本，优化模型。
• 动量队列存储先前批次的特征，并实时更新，从而实现多样且具有代表性的任务构建。
• 整个系统通过使用来自动量网络和队列的伪标签进行监督对比学习进行训练，实现任务质量的逐步优化。

实验结果

研究问题

• RQ1 能否在训练过程中通过自监督元学习框架动态改进伪标签，而无需依赖固定或预训练标签？
• RQ2 如何仅利用在线记忆和动量机制，从未标记数据中构建多样且具有代表性的少样本任务？
• RQ3 当伪标签由动量网络和过去特征队列生成时，对比学习目标是否能有效训练模型用于少样本分类？
• RQ4 所提出的方法是否能在大规模基准（如 ImageNet）上有效扩展，而此前的无监督元学习方法因计算和内存限制而失败？
• RQ5 与监督元学习基线相比，所提出的 PsCo 框架在少样本泛化性能方面表现如何？

主要发现

• 在 Omniglot 基准上，PsCo 在 5-way 1-shot 和 5-way 5-shot 设置下均实现了最先进性能，优于先前的无监督元学习方法。
• 在 miniImageNet 上，PsCo 在 5-way 50-shot 设置下达到 73.50% 的准确率，超越了先前最先进无监督元学习方法。
• PsCo 在跨域少样本学习中表现出强大泛化能力，在领域偏移数据上仍保持高性能。
• 消融实验表明，动量队列和基于 Sinkhorn-Knopp 的标签分配显著提升性能，准确率最高较基线提升 2.5%。
• PsCo 有效扩展至大规模 ImageNet 基准，而先前的无监督元学习方法因计算和内存限制而失败。
• 该方法对超参数选择具有鲁棒性，在 $K$ 值从 1 到 64 变化时性能下降极小，表明学习过程稳定且泛化能力强。