[论文解读] Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization

Yunho Jeon, Yong-Seok Choi+4 more|arXiv (Cornell University)|Jul 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用 4

一句话总结

本文提出了一种名为基于样本正则化（SBR）的新颖迁移学习策略，通过在训练过程中不依赖源模型，对同类别样本的特征嵌入进行正则化，使其更加相似，从而提升少样本学习中的泛化能力。SBR在多个数据集和采样率下均优于现有方法，在最小归纳偏差的前提下实现了最先进性能。

ABSTRACT

Training a deep neural network with a small amount of data is a challenging problem as it is vulnerable to overfitting. However, one of the practical difficulties that we often face is to collect many samples. Transfer learning is a cost-effective solution to this problem. By using the source model trained with a large-scale dataset, the target model can alleviate the overfitting originated from the lack of training data. Resorting to the ability of generalization of the source model, several methods proposed to use the source knowledge during the whole training procedure. However, this is likely to restrict the potential of the target model and some transferred knowledge from the source can interfere with the training procedure. For improving the generalization performance of the target model with a few training samples, we proposed a regularization method called sample-based regularization (SBR), which does not rely on the source's knowledge during training. With SBR, we suggested a new training framework for transfer learning. Experimental results showed that our framework outperformed existing methods in various configurations.

研究动机与目标

• 解决在小样本数据集上训练深度学习模型时出现的过拟合问题。
• 在训练过程中不依赖源模型作为正则化参考，提升迁移学习中的泛化性能。
• 探索更符合目标任务内在结构的替代性正则化机制。
• 减少可能无关的源知识对目标任务优化造成的干扰。
• 开发一种通过成对样本相似性增强特征学习的方法，提升低数据场景下的鲁棒性。

提出的方法

• 提出基于样本正则化（SBR），通过最大化同类别样本特征嵌入之间的相似性来正则化其表示。
• 在特征提取器的输出上应用SBR，使用对比损失最小化同类别特征之间的距离。
• 将分类器与特征提取器解耦，仅对分类器使用交叉熵损失，仅对特征提取器使用SBR损失，以减少干扰。
• 采用成对相似性损失，促使网络学习一个度量空间，使同类别样本在其中更接近，类似于度量学习。
• 引入一种训练框架，仅在初始化阶段使用源模型，而在优化过程中不再将其作为正则化参考。
• 采用双分支损失策略：使用交叉熵损失进行分类，使用SBR损失保证类别内部的特征一致性。

实验结果

研究问题

• RQ1 基于类内样本相似性的正则化是否能提升少样本迁移学习中的泛化能力？
• RQ2 在训练过程中避免依赖源模型是否能提升在小样本目标任务上的性能？
• RQ3 SBR与那些将源模型作为正则化参考的现有迁移学习方法相比表现如何？
• RQ4 在低数据场景下，成对相似性正则化是否比单热目标监督具有更好的泛化能力？
• RQ5 当源模型更换时（例如从ImageNet变为Places365），SBR是否仍能保持性能优势？

主要发现

• 在CUB数据集上，使用Places365作为源模型，SBR在100%采样率下达到74.91%的准确率，优于最佳基线方法（67.39%）7.52个百分点。
• 在Cars数据集上，SBR在100%采样率下达到90.59%的准确率，超过次佳方法（88.61%）1.98个百分点。
• 在Aircraft数据集上，SBR在100%采样率下达到85.04%的准确率，超过基线方法（78.98%）6.06个百分点。
• 在Flowers数据集上，SBR在100%采样率下达到94.73%的准确率，优于基线方法（92.14%）2.59个百分点。
• SBR在所有数据集和采样率下均持续优于所有基线方法（包括L2-SP、DELTA和BSS变体），展现出卓越的鲁棒性与泛化能力。
• 即使在数据量极低的情况下，SBR也表现出色，例如在Flowers数据集15%采样率下达到67.47%，显著高于基线的59.27%。