[论文解读] Positively Scale-Invariant Flatness of ReLU Neural Networks

Mingyang Yi, Qi Meng+3 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Neural Network Applications参考文献 20被引用 11

一句话总结

本文提出了 PSI-flatness，一种基于基路径值的、针对 ReLU 神经网络的正则尺度不变平坦度度量，克服了传统平坦度定义在未考虑 ReLU 单元正齐次性方面的局限性。作者通过 PAC-Bayes 理论将 PSI-flatness 与泛化能力联系起来，并通过基路径空间中损失景观的可视化，实证验证了平坦度更低的极小值具有更好的泛化性能。

ABSTRACT

It was empirically confirmed by Keskar et al.\cite{SharpMinima} that flatter minima generalize better. However, for the popular ReLU network, sharp minimum can also generalize well \cite{SharpMinimacan}. The conclusion demonstrates that the existing definitions of flatness fail to account for the complex geometry of ReLU neural networks because they can't cover the Positively Scale-Invariant (PSI) property of ReLU network. In this paper, we formalize the PSI causes problem of existing definitions of flatness and propose a new description of flatness - \emph{PSI-flatness}. PSI-flatness is defined on the values of basis paths \cite{GSGD} instead of weights. Values of basis paths have been shown to be the PSI-variables and can sufficiently represent the ReLU neural networks which ensure the PSI property of PSI-flatness. Then we study the relation between PSI-flatness and generalization theoretically and empirically. First, we formulate a generalization bound based on PSI-flatness which shows generalization error decreasing with the ratio between the largest basis path value and the smallest basis path value. That is to say, the minimum with balanced values of basis paths will more likely to be flatter and generalize better. Finally. we visualize the PSI-flatness of loss surface around two learned models which indicates the minimum with smaller PSI-flatness can indeed generalize better.

研究动机与目标

• 为解决现有平坦度定义在 ReLU 网络中因未考虑其正尺度不变性（PSI）特性而导致的病态性问题。
• 形式化一种新的平坦度度量——PSI-flatness，使其在权重的正标度变换下保持不变。
• 通过 PAC-Bayes 泛化界，建立 PSI-flatness 与泛化误差之间的理论联系。
• 通过基路径空间中损失景观的可视化，实证验证较低的 PSI-flatness 对应更好的泛化性能。

提出的方法

• 利用基路径值（即 ReLU 网络中所有路径的最大线性无关子集）定义 PSI-flatness，因为这些值已被证明是 PSI-变量。
• 提出三种 PSI-flatness 的变体，对应于权重空间中的标准平坦度定义，但以基路径值重新表达，以确保尺度不变性。
• 推导出一个依赖于最大与最小基路径值之比的 PAC-Bayes 泛化界，表明路径值越均衡，泛化误差越小。
• 使用 Meng 等人 [16] 提出的骨架法，将基路径空间中的扰动投影回权重空间，以在可视化过程中评估损失。
• 通过在基路径空间中沿两个随机方向采样扰动，并对投影后的权重进行前向传播计算损失，实现基路径空间中损失曲面的可视化。
• 对比使用不同 SGD 批大小（128 与 2048）训练的两个模型，以获得具有不同泛化性能的极小值（测试准确率分别为 87.78% 与 86.3%）。

实验结果

研究问题

• RQ1 在考虑其正尺度不变性的情况下，现有平坦度定义是否能充分捕捉 ReLU 网络中的泛化行为？
• RQ2 是否存在一种在 ReLU 网络权重正标度变换下保持不变的平坦度度量？
• RQ3 最大与最小基路径值之比越低，是否与 ReLU 网络中更好的泛化性能相关？
• RQ4 基路径空间中损失景观的可视化是否能揭示出更平坦且泛化能力更强的极小值？

主要发现

• 所提出的 PSI-flatness 度量在正标度变换下保持不变，相较于传统权重空间平坦度定义，更适合作为 ReLU 网络的平坦度度量。
• PAC-Bayes 泛化界表明，当最大与最小基路径值之比减小时，泛化误差降低，表明路径值越均衡，极小值越平坦且泛化能力越强。
• 在基路径空间中对损失曲面的实证可视化显示，使用较小批量（87.78% 测试准确率）训练的模型位于 PSI-flatness 下更平坦的区域，而使用较大批量（86.3% 准确率）的模型则位于更尖锐的区域。
• 可视化结果证实，PSI-flatness 比权重空间平坦度更能准确捕捉泛化行为，因为后者无法以相同方式区分泛化性能。
• 本研究表明，基路径值可作为分析 ReLU 网络损失曲面几何结构的有效 PSI-变量。