[论文解读] The Deep Bootstrap Framework: Good Online Learners are Good Offline Generalizers

Preetum Nakkiran, Behnam Neyshabur+1 more|arXiv (Cornell University)|Oct 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 77被引用 15

一句话总结

本文提出了深度自举框架（Deep Bootstrap Framework），将测试误差新颖地分解为在总体损失上的在线学习性能（理想世界）与由于数据有限导致的自举误差差距。实证结果表明，该自举误差差距在实践中较小——尤其是对于卷积神经网络（CNNs）——表明良好的泛化能力主要源于在总体损失上的快速优化，而不仅仅是数据效率。

ABSTRACT

We propose a new framework for reasoning about generalization in deep learning. The core idea is to couple the Real World, where optimizers take stochastic gradient steps on the empirical loss, to an Ideal World, where optimizers take steps on the population loss. This leads to an alternate decomposition of test error into: (1) the Ideal World test error plus (2) the gap between the two worlds. If the gap (2) is universally small, this reduces the problem of generalization in offline learning to the problem of optimization in online learning. We then give empirical evidence that this gap between worlds can be small in realistic deep learning settings, in particular supervised image classification. For example, CNNs generalize better than MLPs on image distributions in the Real World, but this is "because" they optimize faster on the population loss in the Ideal World. This suggests our framework is a useful tool for understanding generalization in deep learning, and lays a foundation for future research in the area.

研究动机与目标

• 解决经典泛化理论在深度学习中的局限性，即模型在实现零训练误差的同时仍能良好泛化。
• 克服现有泛化界在现代深度神经网络中无法预测性能的空洞问题。
• 提出一种测试误差的替代分解方式，将总体损失上的优化与有限样本偏差分离开来。
• 建立一个以理解无限数据条件下在线优化和有限样本自举效应为重点的新研究议程。

提出的方法

• 定义两个世界：现实世界（使用有限数据和随机梯度进行训练）与理想世界（使用完整总体损失并每一步使用新样本进行训练）。
• 将测试误差分解为：TestError(f_t) = TestError(f^iid_t) + [TestError(f_t) - TestError(f^iid_t)]，其中 f^iid_t 是在理想世界中训练的模型。
• 将理想世界的测试误差用作在真实数据分布上在线优化性能的代理指标。
• 将自举误差定义为现实世界与理想世界测试误差之间的差异，反映有限样本偏差。
• 使用相同的网络架构和超参数，在两个世界中分别训练模型，但采样策略不同（重复使用样本 vs. 使用新样本）。
• 在CIFAR-10类和ImageNet数据集上实证评估该框架，比较不同数据设置下的卷积神经网络（CNNs）和多层感知机（MLPs）。

实验结果

研究问题

• RQ1 深度神经网络的泛化性能是否可由其在总体损失上快速优化的能力来解释？
• RQ2 在现实的深度学习设置中，有限数据（现实世界）与无限数据（理想世界）训练之间的自举误差差距有多大？
• RQ3 为何卷积神经网络（CNNs）在图像数据集上的泛化能力优于多层感知机（MLPs），尽管其归纳偏差相似？
• RQ4 在实践中，理想世界的测试误差在多大程度上能预测现实世界的测试误差？
• RQ5 自举框架是否能提供比经典方法更具预测性和可解释性的泛化理论？

主要发现

• 在实践中，现实世界与理想世界训练之间的自举误差差距较小，尤其在卷积神经网络（CNNs）中更为显著，表明泛化能力主要由在总体损失上的优化决定。
• 卷积神经网络（CNNs）在图像数据集上优于多层感知机（MLPs）的泛化能力并非源于架构偏差本身，而是因为其在理想世界中对总体损失的优化速度更快。
• 理想世界的测试误差在多种架构和数据设置下均与现实世界的测试误差高度一致，验证了该框架的预测能力。
• 对于在CIFAR-10上使用500万样本的ResNet-18，理想世界的测试误差与现实世界的测试误差相差不超过1.5%，尽管标准分解中存在较大的泛化差距。
• 该框架揭示，深度学习中的泛化更应被理解为在真实数据分布上在线优化的特性，而非有限样本下的泛化差距。
• 实证结果表明，即使经典泛化界失效，该自举框架仍能解释不同架构之间的泛化差异。