[论文解读] Unsupervised Embedding Adaptation via Early-Stage Feature Reconstruction for Few-Shot Classification

Dong Hoon Lee, Sae-Young Chung|arXiv (Cornell University)|Jun 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 8

一句话总结

本文提出了一种新型无监督嵌入适配方法——早期阶段特征重建（ESFR），用于少样本分类任务。该方法通过特征重建与基于局部内在维度的早停机制，学习通用且与任务相关的特征。ESFR在 mini-ImageNet、tiered-ImageNet 和 CUB 数据集上持续优于基线方法，并在 1-shot 设置下相较先前方法取得 1.2%–2.0% 的准确率提升。

ABSTRACT

We propose unsupervised embedding adaptation for the downstream few-shot classification task. Based on findings that deep neural networks learn to generalize before memorizing, we develop Early-Stage Feature Reconstruction (ESFR) -- a novel adaptation scheme with feature reconstruction and dimensionality-driven early stopping that finds generalizable features. Incorporating ESFR consistently improves the performance of baseline methods on all standard settings, including the recently proposed transductive method. ESFR used in conjunction with the transductive method further achieves state-of-the-art performance on mini-ImageNet, tiered-ImageNet, and CUB; especially with 1.2%~2.0% improvements in accuracy over the previous best performing method on 1-shot setting.

研究动机与目标

• 通过利用未标记的测试数据对预训练嵌入进行适配，以应对少样本分类中模型难以从少量标注样本中泛化的挑战。
• 探究在无监督训练过程中学习到的早期阶段特征是否包含可用于少样本适配的通用模式。
• 开发一种即插即用的适配模块，无需在适配过程中使用标签信息，即可增强归纳式与归纳迁移式少样本学习方法的性能。
• 通过发现未标记查询数据中的共享低维结构，提升在标准少样本基准上的性能。

提出的方法

• ESFR 使用支持集与查询集特征的并集进行嵌入适配器训练，采用重建损失以保留输入结构。
• 该方法采用局部内在维度（LID）估计来确定最优训练轮次，实现早停，防止对记忆化的过拟合。
• 早停由重建特征的 LID 决定，当泛化开始而记忆结束时，LID 值趋于稳定。
• 该方法使用带有随机权重初始化的嵌入集成，以降低方差并提升鲁棒性。
• 训练过程中应用 Dropout 扰动，进一步抑制记忆化行为，增强泛化能力。
• 最终适配的嵌入用于推理阶段的最近邻分类器，无需额外微调。

实验结果

研究问题

• RQ1 能否利用无监督预训练过程中学习到的早期阶段特征，实现有效的少样本分类适配？
• RQ2 基于局部内在维度的特征重建与早停机制，是否能在少样本学习中带来更好的泛化性能？
• RQ3 无监督适配模块是否能在不使用适配阶段标签信息的前提下，提升多种少样本分类基准上的性能？
• RQ4 与 PCA、ICA 和嵌入传播等现有嵌入适配方法相比，ESFR 在准确率与鲁棒性方面表现如何？

主要发现

• 在 1-shot 设置下，ESFR 在 mini-ImageNet、tiered-ImageNet 和 CUB 上均达到 SOTA 性能，相较先前 SOTA 方法 LaplacianShot 提高 1.2% 至 2.0% 的准确率。
• 该方法在所有标准少样本分类基准上均持续优于基线模型，涵盖归纳式与归纳迁移式设置。
• 当与归纳式方法 BD-CSPN 结合时，ESFR-Semi 在 5-shot 设置下实现 +0.3% 至 +0.8% 的额外准确率提升。
• 消融实验表明，嵌入集成与 Dropout 扰动均对性能提升有贡献，完整 ESFR 配置优于所有变体。
• ESFR 优于先前的嵌入适配方法（如 PCA、ICA 和嵌入传播），在 1-shot mini-ImageNet 上相较 ICA 基础适配方法提升 +1.8% 至 +2.0%。
• 在 1-shot 设置下，λ=0 时性能达到最优，表明适配过程中无需标签信息，进一步验证了其无监督特性。