[论文解读] On the Role of Neural Collapse in Transfer Learning

Tomer Galanti, András György+1 more|arXiv (Cornell University)|Dec 30, 2021

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文通过将基础模型在少样本迁移学习中的成功归因于神经坍缩（neural collapse）现象，解释了其原因——即同一类别的特征在倒数第二层收敛至其类别均值。作者通过理论和实证分析表明，神经坍缩不仅使模型能够泛化到训练类别中的未见样本，还能泛化到完全新的类别，从而使在冻结特征上微调的线性分类器在极少标注数据下实现优异的少样本性能。

ABSTRACT

We study the ability of foundation models to learn representations for classification that are transferable to new, unseen classes. Recent results in the literature show that representations learned by a single classifier over many classes are competitive on few-shot learning problems with representations learned by special-purpose algorithms designed for such problems. In this paper we provide an explanation for this behavior based on the recently observed phenomenon that the features learned by overparameterized classification networks show an interesting clustering property, called neural collapse. We demonstrate both theoretically and empirically that neural collapse generalizes to new samples from the training classes, and -- more importantly -- to new classes as well, allowing foundation models to provide feature maps that work well in transfer learning and, specifically, in the few-shot setting.

研究动机与目标

• 理解基础模型为何在目标数据有限的情况下，仍能对新、未见的类别实现良好泛化。
• 探究在过参数化网络中观察到的神经坍缩现象是否可超越训练类别，延伸至新类别。
• 为在基础模型冻结特征上微调线性分类器的有效性提供理论与实证依据。
• 形式化神经坍缩如何在低数据场景下实现稳健泛化，特别是在少样本学习中。

提出的方法

• 对过参数化网络中的神经坍缩进行理论分析，重点关注特征聚类及收敛至类别均值的行为。
• 在神经坍缩假设下，推导未见样本和新类别的泛化界。
• 利用Rademacher复杂度和基于方差的边界，量化在神经坍缩存在下的泛化误差。
• 在图像分类基准上进行实证验证，以确认对未见类别的泛化能力及少样本性能。
• 应用Chernoff和高斯尾部界分析在神经坍缩下误分类的概率。
• 构建迁移风险和泛化差距项，以建模线性分类器在新任务上的性能。

实验结果

研究问题

• RQ1 基础模型倒数第二层中的神经坍缩是否能实现对训练类别中未见样本的泛化？
• RQ2 神经坍缩能否促进对预训练阶段未见的全新类别的泛化？
• RQ3 神经坍缩的存在如何影响少样本学习场景中线性分类器的性能？
• RQ4 当神经坍缩成立时，可推导出哪些关于泛化误差的理论保证？
• RQ5 神经坍缩在多大程度上解释了基础模型迁移学习的实证成功？

主要发现

• 神经坍缩使模型能够对训练类别中的未见样本实现泛化，因为特征会紧密聚集在类别均值周围。
• 该现象可扩展至新类别：当模型在大量源类别上训练时，未见类别的特征也表现出聚类行为。
• 在表现出神经坍缩的模型特征上训练的线性分类器，即使每类仅有少量标注样本，也能实现低错误率。
• 理论边界表明，泛化误差随源样本数量和特征维度的倒数而衰减，支持在低数据场景下的鲁棒性。
• 在球面高斯假设下，改进的边界显示误差随特征维度和源样本数量的增加呈指数衰减。
• 实证结果证实，具有神经坍缩特性的模型能对新类别实现良好泛化，从而解释了基础模型在少样本学习中的优异表现。