[论文解读] Small Data, Big Decisions: Model Selection in the Small-Data Regime

Jörg Bornschein, Francesco Visin+1 more|arXiv (Cornell University)|Sep 26, 2020

Neural Networks and Applications被引用 10

一句话总结

本文研究了过参数化神经网络的泛化性能随训练集大小的变化，表明在小样本情况下，较小的数据集可因不同架构间性能排名的稳定性而带来更可靠的模型选择。本文引入温度校准以稳定交叉熵度量，从而实现对最小描述长度（MDL）的精确估计，支持基于奥卡姆剃刀原则的小样本场景下严谨的模型选择。

ABSTRACT

Highly overparametrized neural networks can display curiously strong generalization performance - a phenomenon that has recently garnered a wealth of theoretical and empirical research in order to better understand it. In contrast to most previous work, which typically considers the performance as a function of the model size, in this paper we empirically study the generalization performance as the size of the training set varies over multiple orders of magnitude. These systematic experiments lead to some interesting and potentially very useful observations; perhaps most notably that training on smaller subsets of the data can lead to more reliable model selection decisions whilst simultaneously enjoying smaller computational costs. Our experiments furthermore allow us to estimate Minimum Description Lengths for common datasets given modern neural network architectures, thereby paving the way for principled model selection taking into account Occams-razor.

研究动机与目标

• 理解过参数化神经网络的泛化性能如何随训练集大小变化，尤其是在小样本场景下。
• 探究在超过插值阈值后，模型性能排名是否在不同训练集大小下保持一致。
• 通过校准神经网络输出以稳定泛化度量，实现基于最小描述长度（MDL）的严谨模型选择。
• 通过证明小样本子集可提供比完整数据集更稳健的性能信号，降低模型选择与神经架构搜索中的计算成本。

提出的方法

• 在 ImageNet、CIFAR10、MNIST 和 EMNIST 的子集上系统性地训练多种深度学习架构（如 ResNets、VGG、MLPs 等），训练集大小从完整数据降至每类仅几个样本。
• 对 softmax 输出应用温度缩放以校准模型概率，将未经校准的交叉熵转化为稳定、行为良好的泛化度量。
• 通过将校准后的交叉熵在训练集大小上积分，采用预序（前向时间）编码框架估计深度学习模型的最小描述长度（MDL）。
• 通过梯形积分法计算模型对之间 MDL 对数证据差异，不确定性通过多组随机种子和不同区间点进行估计。
• 确保训练集子集为嵌套结构（即较大集合包含较小集合），以维持预序 MDL 估计过程的一致性。
• 通过比较多种架构和优化设置下的泛化误差与校准后交叉熵，验证性能排名在不同数据规模下的鲁棒性。

实验结果

研究问题

• RQ1 当在小规模与大规模训练集上训练时，过参数化神经网络的相对泛化性能排名是否保持稳定？
• RQ2 温度校准是否能稳定不同模型规模和训练集大小下的泛化交叉熵度量，即使在过拟合区域也成立？
• RQ3 是否可以利用小规模训练子集和校准预测，可靠地估计深度神经网络的最小描述长度（MDL）？
• RQ4 尽管计算成本更低，训练在小样本子集上是否比在完整数据集上提供更可靠的模型选择信号？
• RQ5 基于校准性能曲线的 MDL 模型选择，能否提供一种尊重奥卡姆剃刀原则的严谨替代方案，以取代启发式架构搜索？

主要发现

• 即使每类仅训练 10 个样本，过参数化模型在不同训练集大小下仍保持其相对泛化性能排名，为小样本场景下的模型选择提供了强有力的实证依据。
• 温度校准将未经校准的泛化交叉熵转化为稳定、行为良好的度量，即使在极端过拟合情况下也与实际泛化误差高度相关。
• 在训练集大小上绘制的校准性能曲线下的面积可作为最小描述长度（MDL）的可靠估计，从而实现兼顾奥卡姆剃刀原则的严谨模型选择。
• 使用小样本子集（如每类 10–100 个样本）进行模型选择，相比完整数据集，能提供更稳健、更可靠的决策，因其性能信号中的噪声和方差更小。
• 在 CIFAR10 和 ImageNet 上，模型间 MDL 对数证据差异的估计结果一致且不确定性低（例如，<20k nats），例如在 ImageNet 上，ResNet-101 的描述长度比 ResNet-50 低 87k nats。
• 通过嵌套训练集子集与校准交叉熵计算 MDL，可在无需完整数据训练的前提下，实现高效、可扩展且理论基础坚实的模型选择。