[论文解读] TransMatch: A Transfer-Learning Scheme for Semi-Supervised Few-Shot Learning

Zhongjie Yu, Lin Chen+2 more|arXiv (Cornell University)|Dec 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 24被引用 7

一句话总结

本文提出 TransMatch，一种用于半监督少样本学习的新颖迁移学习框架，通过利用已标注的基础类别数据和未标注的新类别数据，提升少样本分类的准确率。通过在基础类别上预训练特征提取器、利用 Imprinting 技术初始化分类器，并通过 MixMatch 进行微调，TransMatch 在 CUB-200-2011 和 miniImageNet 上实现了最先进性能，显著优于现有方法。

ABSTRACT

The successful application of deep learning to many visual recognition tasks relies heavily on the availability of a large amount of labeled data which is usually expensive to obtain. The few-shot learning problem has attracted increasing attention from researchers for building a robust model upon only a few labeled samples. Most existing works tackle this problem under the meta-learning framework by mimicking the few-shot learning task with an episodic training strategy. In this paper, we propose a new transfer-learning framework for semi-supervised few-shot learning to fully utilize the auxiliary information from labeled base-class data and unlabeled novel-class data. The framework consists of three components: 1) pre-training a feature extractor on base-class data; 2) using the feature extractor to initialize the classifier weights for the novel classes; and 3) further updating the model with a semi-supervised learning method. Under the proposed framework, we develop a novel method for semi-supervised few-shot learning called TransMatch by instantiating the three components with Imprinting and MixMatch. Extensive experiments on two popular benchmark datasets for few-shot learning, CUB-200-2011 and miniImageNet, demonstrate that our proposed method can effectively utilize the auxiliary information from labeled base-class data and unlabeled novel-class data to significantly improve the accuracy of few-shot learning task.

研究动机与目标

• 为解决少样本学习中标签数据有限的挑战，通过利用已标注基础类别数据和未标注新类别数据的辅助信息。
• 提出一种基于迁移学习的新框架用于半监督少样本学习，与现有元学习方法不同。
• 通过整合最先进的半监督学习技术与迁移学习，提升少样本分类性能。
• 证明在基础类别上预训练与利用未标注新类别数据进行自监督优化相结合的有效性。

提出的方法

• 在大规模基础类别数据集上预训练特征提取器，以编码通用视觉表征。
• 使用预训练的特征提取器为新类别的少样本已标注样本生成嵌入表示，再通过 Imprinting 技术初始化分类器权重。
• 使用 MixMatch（一种最先进的半监督学习方法）对初始化后的分类器进行微调，以整合未标注的新类别数据。
• 采用两阶段训练流程：首先在无未标注数据的情况下于基础类别上进行预训练，然后联合微调包含未标注新类别数据的模型。
• 采用维度为 256 的 L2 归一化特征嵌入，并遵循标准的数据增强和训练协议，以确保公平比较。
• 整合 MixMatch 的一致性正则化与伪标签策略，以在微调过程中提升对未标注样本的泛化能力。

实验结果

研究问题

• RQ1 结合基础类别上的预训练与新类别上的半监督学习的迁移学习框架，是否能超越现有的基于元学习的少样本方法？
• RQ2 当与预训练的基础类别模型知识结合时，新类别中的未标注数据在多大程度上能提升少样本分类准确率？
• RQ3 在迁移学习流程中整合 Imprinting 与 MixMatch 是否能提升低样本场景下的鲁棒性与准确率？
• RQ4 随着新类别中未标注样本数量的增加，所提方法的性能如何变化？

主要发现

• 在 miniImageNet 数据集上，TransMatch 在 20-shot 设定下达到 74.61% 的准确率，比之前最先进方法（Imprinting+FT）高出 4.54 个百分点。
• 在 CUB-200-2011 上，TransMatch 在 20-shot 设定下达到 74.61% 的准确率，显著优于 MixMatch（73.00%）和 Imprinting+FT（70.07%）。
• 在每个类别有 20 个未标注样本的情况下，TransMatch 在 miniImageNet 的 10-shot 设定下达到 68.60% 的准确率，表明在监督信息有限时仍具有强大性能。
• 在 1-shot 设定下，TransMatch 在 CUB-200-2011 上达到 28.02% 的准确率，优于 Imprinting（26.08%）和 MixMatch（22.93%），显示出在极端低样本场景下的鲁棒性。
• 准确率随未标注数据增加而持续提升：在 CUB-200-2011 的 5-shot 设定下，准确率从 5 个未标注样本时的 52.90% 提升至 20 个未标注样本时的 59.25%。
• 即使在引入无关类别未标注数据的干扰情况下，TransMatch 仍保持优越性能，优于 MixMatch 和 Imprinting。