[论文解读] Understanding Generalization through Visualizations

Wei Huang, Zeyad Emam+5 more|arXiv (Cornell University)|Jun 7, 2019

Neural Networks and Applications参考文献 42被引用 25

一句话总结

本文通过可视化和经验实验，解释了为何过参数化的神经网络尽管具备拟合随机标签的能力，仍能实现良好的泛化性能。通过分析损失曲面的几何结构，本文表明随机梯度下降（SGD）倾向于选择宽广、平坦的极小值点，其具有大体积的吸引盆——在高维空间中，这类极小值点被找到的可能性极高，从而实现了对未见数据的鲁棒泛化。

ABSTRACT

The power of neural networks lies in their ability to generalize to unseen data, yet the underlying reasons for this phenomenon remain elusive. Numerous rigorous attempts have been made to explain generalization, but available bounds are still quite loose, and analysis does not always lead to true understanding. The goal of this work is to make generalization more intuitive. Using visualization methods, we discuss the mystery of generalization, the geometry of loss landscapes, and how the curse (or, rather, the blessing) of dimensionality causes optimizers to settle into minima that generalize well.

研究动机与目标

• 发展对神经网络泛化性能的直观理解，超越理论界限。
• 探究为何随机梯度下降（SGD）在存在大量表现差、无法泛化的极小值点的情况下，仍能持续找到泛化性能良好的极小值点。
• 探讨高维参数空间如何使优化器偏向于平坦、宽广的极小值点，且具有大的吸引盆。
• 通过反事实实验验证泛化性能与损失曲面吸引盆体积之间的关联性假设。
• 将关于平坦性和吸引盆体积的几何直觉与深度学习模型的实际成功联系起来。

提出的方法

• 使用t-SNE将参数空间的迭代点嵌入，可视化SGD在神经网络上的训练轨迹，并与附近的极小值点进行比较。
• 通过在损失函数中引入对抗性样本以毒化模型，构造出泛化性能差的‘坏’极小值点，使其错误分类测试数据。
• 通过从极小值点出发在3,000个随机方向上采样，利用蒙特卡洛方法估计n维体积，测量损失曲面吸引盆的体积。
• 将吸引盆体积定义为 $ V = \omega_n \mathbb{E}_\phi[r^n(\phi)] $，其中 $ \omega_n $ 为单位n维球的体积，$ r(\phi) $ 为方向 $ \phi $ 上的半径。
• 通过不同毒化因子下测试准确率与吸引盆体积的对比，评估其相关性。
• 构建反事实数据集（如夹紧的环形数据）以测试神经网络在需要时是否能学习到尖锐、狭窄的决策边界。

实验结果

研究问题

• RQ1 为何过参数化的神经网络尽管能够记忆随机标签，仍能实现良好的泛化性能？
• RQ2 损失曲面的几何结构——特别是吸引盆的平坦度与体积——如何与泛化性能相关联？
• RQ3 为何SGD在高维空间中始终能避开尖锐、泛化性能差的极小值点？
• RQ4 我们能否构建合成问题，使神经网络无法学习到尖锐的决策边界？这揭示了优化过程中的何种偏差？
• RQ5 高维性在使宽广平坦的极小值点占据主导地位并因此更可能被SGD找到的过程中，起到了什么作用？

主要发现

• 在CIFAR-10上使用ResNet-18训练的神经网络达到92%的测试准确率，而参数量相当的线性模型仅达到49%，表明模型容量本身并不能保证泛化性能。
• ‘坏’极小值点确实存在，可通过损失毒化构造；这些极小值点的训练准确率接近100%，但测试准确率低于53%，接近随机猜测水平。
• 最终的SGD迭代点达到98.5%的测试准确率，表明即使存在不良极小值点，优化器也能可靠地避开它们。
• 对于SVHN数据集，优质极小值点周围的吸引盆体积至少比差极小值点大10,000个数量级，使其被找到的可能性高得多。
• 随着泛化差距增大，决策边界对扰动更加敏感，训练样本在边界附近形成‘岛屿’或‘半岛’状分布。
• 在反事实实验中，当类别间间隔被夹紧时，SGD无法找到圆形边界，反而产生被挑选出的、不稳定的决策边界，表明其对稳定、宽广极小值点存在显著偏好。