[论文解读] Rethinking Parameter Counting in Deep Models: Effective Dimensionality Revisited

Wesley J. Maddox, Gregory W. Benton+1 more|arXiv (Cornell University)|Mar 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 62被引用 28

一句话总结

该论文提出有效维度作为深度学习中模型复杂度与泛化能力的更优代理指标，取代简单的参数计数。通过分析训练数据上Hessian矩阵的特征谱，结果表明有效维度比参数数量或基于平坦度的度量更能准确追踪测试性能，从而解释了双 descent 现象以及深度相对于宽度在泛化上的优势。

ABSTRACT

Neural networks appear to have mysterious generalization properties when using parameter counting as a proxy for complexity. Indeed, neural networks often have many more parameters than there are data points, yet still provide good generalization performance. Moreover, when we measure generalization as a function of parameters, we see double descent behaviour, where the test error decreases, increases, and then again decreases. We show that many of these properties become understandable when viewed through the lens of effective dimensionality, which measures the dimensionality of the parameter space determined by the data. We relate effective dimensionality to posterior contraction in Bayesian deep learning, model selection, width-depth tradeoffs, double descent, and functional diversity in loss surfaces, leading to a richer understanding of the interplay between parameters and functions in deep models. We also show that effective dimensionality compares favourably to alternative norm- and flatness- based generalization measures.

研究动机与目标

• 解决将参数计数作为深度神经网络模型复杂度与泛化能力代理指标时的局限性。
• 解释为何过参数化的模型尽管参数量巨大，仍能实现良好泛化，特别是在双 descent 背景下。
• 通过将其与贝叶斯后验收缩及损失曲面几何结构关联，建立有效维度作为模型容量更富信息量的度量。
• 证明深度可通过降低有效维度来实现更优的数据压缩与泛化，即使参数量更多。
• 将有效维度与现有泛化度量（如路径范数和PAC-Bayesian平坦度）进行比较，展示其鲁棒性与可解释性。

提出的方法

• 将有效维度定义为训练损失Hessian矩阵的迹除以最大特征值，以捕捉参数空间中显著曲率方向的数量。
• 仅使用训练数据的Hessian特征谱来估计有效维度，避免依赖测试数据或完整的后验采样。
• 将有效维度与贝叶斯神经网络中的后验方差关联，表明其量化了后验收缩所覆盖的参数空间维度。
• 通过Hessian特征向量分析参数空间中的退化方向，证明在过参数化模型中，训练和测试输入在函数空间上具有同质性。
• 对路径范数施加对数变换以提升其与泛化能力的相关性，但表明其仍对模型规模敏感，且相比有效维度缺乏可解释性。
• 将有效维度与PAC-Bayesian平坦度度量进行比较，指出有效维度统计平坦方向，而PAC-Bayes度量的是基坑大小，导致两者在模型规模变化时行为相悖。

实验结果

研究问题

• RQ1 为何过参数化的深度网络尽管参数数量远超训练样本数，仍能实现良好泛化？
• RQ2 有效维度如何解释模型宽度变化下泛化误差的双 descent 现象？
• RQ3 在参数量相近的情况下，深度相比宽度在多大程度上降低有效维度并改善泛化？
• RQ4 有效维度与贝叶斯深度学习中后验收缩及模型压缩有何关联？
• RQ5 为何基于平坦度与范数的泛化度量在不同模型规模下无法与泛化性能保持一致的相关性？

主要发现

• 从训练损失Hessian计算的有效维度在过参数化区域能紧密追踪测试误差，解释了双 descent 行为。
• 宽但浅的模型表现出高有效维度与较差泛化性能，而更深的模型即使参数量相近，也能实现更低的有效维度与更优性能。
• 对于训练损失接近零的模型，有效维度是泛化能力的强预测指标，优于参数计数与路径范数。
• 在过参数化网络中，存在退化参数方向，扰动在此方向上不改变对训练或测试数据的预测，表明函数空间的同质性。
• 有效维度与贝叶斯神经网络中的后验方差成反比，量化了后验收缩区域的维度。
• PAC-Bayesian平坦度度量随模型规模增大而增加，且与泛化性能呈负相关，而有效维度保持稳健且具信息量。