[论文解读] The Limitations of Large Width in Neural Networks: A Deep Gaussian Process Perspective

Geoff Pleiss, John P. Cunningham|arXiv (Cornell University)|Jun 11, 2021

Gaussian Processes and Bayesian Inference被引用 8

一句话总结

本文通过分析深度高斯过程（Deep GP）来研究宽神经网络的归纳偏置。研究证明，随着宽度增加，Deep GP会收敛到单层高斯过程，从而丧失分层表征能力。令人惊讶的是，最优测试性能出现在宽度为1或2时，表明即使在容量充足的情况下，过度增宽仍会损害模型的适应性和性能。

ABSTRACT

Large width limits have been a recent focus of deep learning research: modulo computational practicalities, do wider networks outperform narrower ones? Answering this question has been challenging, as conventional networks gain representational power with width, potentially masking any negative effects. Our analysis in this paper decouples capacity and width via the generalization of neural networks to Deep Gaussian Processes (Deep GP), a class of nonparametric hierarchical models that subsume neural nets. In doing so, we aim to understand how width affects (standard) neural networks once they have sufficient capacity for a given modeling task. Our theoretical and empirical results on Deep GP suggest that large width can be detrimental to hierarchical models. Surprisingly, we prove that even nonparametric Deep GP converge to Gaussian processes, effectively becoming shallower without any increase in representational power. The posterior, which corresponds to a mixture of data-adaptable basis functions, becomes less data-dependent with width. Our tail analysis demonstrates that width and depth have opposite effects: depth accentuates a model's non-Gaussianity, while width makes models increasingly Gaussian. We find there is a "sweet spot" that maximizes test performance before the limiting GP behavior prevents adaptability, occurring at width = 1 or width = 2 for nonparametric Deep GP. These results make strong predictions about the same phenomenon in conventional neural networks trained with L2 regularization (analogous to a Gaussian prior on parameters): we show that such neural networks may need up to 500 - 1000 hidden units for sufficient capacity - depending on the dataset - but further width degrades performance.

研究动机与目标

• 通过将标准神经网络推广为深度高斯过程（Deep GP），实现对表征容量与宽度的解耦，其中每一层都是一个向量值高斯过程，从而实现对表征容量的独立控制。
• 研究在给定建模任务中，当容量已足够时，大宽度是否仍能带来额外优势。
• 分析宽度在分层模型中引入的归纳偏置，特别是宽度如何影响后验适应性和非高斯性。
• 确定即使容量不再受限，宽度是否仍会对性能产生负面影响。
• 将Deep GP的洞察推广到使用L2正则化的传统神经网络，这类网络在参数上诱导出高斯先验。

提出的方法

• 将标准神经网络推广为Deep GP，其中每一层都是一个向量值高斯过程，从而实现对表征容量的独立控制，而不受宽度影响。
• 证明在无限宽度极限下，Deep GP收敛到单层高斯过程（定理1），从而有效丧失深度和分层特征学习能力。
• 分析Deep GP的后验均值作为再生核希尔伯特空间中数据自适应基函数的混合形式，表明其随宽度增加而变得不那么依赖数据。
• 通过尾部分析比较宽度与深度的影响：深度增加非高斯性（更重的尾部、更尖锐的峰），而宽度增加高斯性（定理2和3）。
• 在MNIST和CIFAR10上进行实证实验，验证理论发现，训练具有L2正则化的贝叶斯神经网络和传统神经网络，并使超参数与极限GP相匹配。
• 通过最大化对数边际似然和使用NUTS采样，使Deep GP与神经网络的超参数与极限GP相匹配，以确保公平比较。

实验结果

研究问题

• RQ1 在表征容量已足够的情况下，进一步增加宽度是否能提升分层模型的泛化性能，还是由于表征灵活性下降而降低性能？
• RQ2 在无限宽度极限下，Deep GP的后验和归纳偏置会发生什么变化，这对模型对数据的适应性有何影响？
• RQ3 宽度与深度如何差异化地影响分层模型的非高斯性，特别是对尾部行为和峰的锐度的影响？
• RQ4 从非参数Deep GP获得的见解能否推广到具有L2正则化的参数化神经网络？此类模型的最优宽度是多少？
• RQ5 是否存在一个‘最佳宽度’区间，使得在模型坍缩为浅层GP极限之前，测试性能达到最大？

主要发现

• 在无限宽度极限下，Deep GP收敛到单层高斯过程，从而有效丧失深度和分层特征学习能力（定理1）。
• 随着宽度增加，Deep GP的后验均值变得不那么依赖数据，坍缩为与数据无关的核函数，表明特征学习能力下降。
• 宽度与深度具有相反影响：深度增加非高斯性（更重的尾部、更尖锐的峰），而宽度增加高斯性（定理2和3）。
• 对于非参数Deep GP，最优测试性能出现在宽度为1或2时，进一步增加宽度会降低性能。
• 对于具有L2正则化的贝叶斯和传统神经网络，性能在超过某一宽度后开始下降，小数据集（N ≤ 1000）的最优性能出现在16个或更少隐藏单元。
• 在更大的数据集如CIFAR10上，传统神经网络的最优宽度仍然受限，性能在500–1000个隐藏单元以上开始下降，具体取决于数据集和架构。