[论文解读] Neural Networks Regularization Through Invariant Features Learning

Soufiane Belharbi, Clément Chatelain+2 more|arXiv (Cornell University)|Sep 6, 2017

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

本文提出了一种正则化方法，鼓励深度神经网络学习类别相关的不变特征，从而在训练数据稀缺时提升模型的鲁棒性。通过约束同一类别的样本在隐藏层产生相同的表示，该方法在少样本分类任务中提升了泛化能力，如在MNIST及其变体上的优异表现所示。

ABSTRACT

Training deep neural networks is known to require a large number of training samples. However, in many applications only few training samples are available. In this work, we tackle the issue of training neural networks for classification task when few training samples are available. We attempt to solve this issue by proposing a regularization term that constrains the hidden layers of a network to learn class-wise invariant features. In our regularization framework, learning invariant features is generalized to the class membership where samples with the same class should have the same feature representation. Numerical experiments over MNIST and its variants showed that our proposal is more efficient for the case of few training samples. Moreover, we show an intriguing property of representation learning within neural networks. The source code of our framework is freely available this https URL

研究动机与目标

• 解决在仅有少量训练样本时训练深度神经网络的挑战。
• 通过强制同一类别样本的特征保持不变，提升低数据场景下的泛化能力。
• 探究表征学习在数据稀缺条件下增强模型鲁棒性的作用。
• 开发一种正则化框架，将特征不变性推广至类别归属，而不仅限于数据增强。

提出的方法

• 引入一种新颖的正则化项，惩罚同一类别样本在隐藏层表示上的差异。
• 将特征不变性推广至数据增强之外，涵盖所有共享相同类别标签的样本。
• 使用包含标准分类损失和所提出的不变性正则化项的联合损失函数优化网络。
• 在反向传播过程中应用正则化，以鼓励同一类别成员间的一致特征学习。
• 通过特征级约束在不修改网络架构的前提下减少低数据场景下的过拟合。
• 使用正则化目标函数，通过随机梯度下降端到端训练模型。

实验结果

研究问题

• RQ1 在低数据条件下，强制类别相关的特征不变性是否能提升深度神经网络的泛化能力？
• RQ2 在少样本学习设置中，所提出的正则化方法与标准数据增强相比表现如何？
• RQ3 特征不变性对深度网络中表征学习有何影响？
• RQ4 该正则化方法在仅含少量样本的MNIST数据集不同变体上是否保持性能？

主要发现

• 当仅有少量训练样本时，所提出的正则化方法在MNIST及其变体上显著提升了分类准确率。
• 由于更强的特征不变性，该模型在低数据场景下相比标准方法展现出更好的泛化能力。
• 该方法展现出表征学习的一个引人注目的特性：类别相关的不变性增强了特征的紧凑性和可分性。
• 即使没有显式的数据增强，该框架依然有效，表明不变性约束具有鲁棒性。
• 源代码公开，支持可复现性，并推动少样本表征学习的进一步研究。
• 数值实验确认，正则化减少了过拟合并提升了小样本数据集上的泛化性能。