[论文解读] Why bigger is not always better: on finite and infinite neural networks

Laurence Aitchison|Bristol Research (University of Bristol)|Oct 17, 2019

Gaussian Processes and Bayesian Inference参考文献 19被引用 5

一句话总结

本文认为，无限宽贝叶斯神经网络性能不如有限宽网络，原因在于其固定了核函数且缺乏表征学习能力。通过引入具有瓶颈结构的无限网络，作者在保持理论可分析性的同时实现了核函数的自适应，分析与实验表明，真实世界中的SOTA网络（如ResNets）所学习的表征接近输出核，而非无限网络所预测的结果。

ABSTRACT

Recent work has argued that neural networks can be understood theoretically by taking the number of channels to infinity, at which point the outputs become Gaussian process (GP) distributed. However, we note that infinite Bayesian neural networks lack a key facet of the behaviour of real neural networks: the fixed kernel, determined only by network hyperparameters, implies that they cannot do any form of representation learning. The lack of representation or equivalently kernel learning leads to less flexibility and hence worse performance, giving a potential explanation for the inferior performance of infinite networks observed in the literature (e.g. Novak et al. 2019). We give analytic results characterising the prior over representations and representation learning in finite deep linear networks. We show empirically that the representations in SOTA architectures such as ResNets trained with SGD are much closer to those suggested by our deep linear results than by the corresponding infinite network. This motivates the introduction of a new class of network: infinite networks with bottlenecks, which inherit the theoretical tractability of infinite networks while at the same time allowing representation learning.

研究动机与目标

• 解释最先进的有限宽神经网络与无限宽贝叶斯神经网络之间的性能差距。
• 识别无限网络性能不佳的根本原因：缺乏表征学习导致核函数被固定。
• 提出一类新型理论模型——具有瓶颈结构的无限网络，该模型在保持分析可 tractability 的同时支持核函数自适应。
• 通过实证验证，真实网络（如使用SGD训练的ResNets）学习到的表征接近输出核，而非输入核。
• 通过建模深度线性网络中的表征学习动态，弥合理论无限网络与实际有限网络之间的差距。

提出的方法

• 分析有限深度线性网络中表征的先验协方差，以量化核函数的灵活性。
• 提出具有瓶颈结构的无限网络作为混合模型，结合理论可分析性与可学习表征能力。
• 通过解析推导表明，在空间结构化输入下，更窄更深的网络以及卷积神经网络（CNNs）比线性卷积网络（LCNs）具有更高的表征灵活性。
• 通过MAP推断和后验采样建模后验分布，追踪训练过程中表征从输入核到输出核的演变过程。
• 推导在不同宽度与输出通道比（N/Y → 0, ∞，以及 N/Y = 1）下顶层核行为的渐近极限。
• 通过将CIFAR-10上训练的ResNets中的表征与深度线性模型的理论预测进行比较，验证研究发现。

实验结果

研究问题

• RQ1 为何在具有精确贝叶斯推断的前提下，无限宽贝叶斯神经网络仍表现不如使用SGD训练的有限宽网络？
• RQ2 无限网络中固定的核函数如何阻碍表征学习并限制性能？
• RQ3 有限深度线性网络中表征的灵活性由什么决定？其与无限网络行为相比有何差异？
• RQ4 我们能否设计一类无限网络，使其在保持理论可分析性的同时支持核函数自适应与表征学习？
• RQ5 使用SGD训练的真实SOTA网络（如ResNets）中的表征与无限网络模型所预测的表征相比如何？

主要发现

• 无限宽贝叶斯神经网络无法进行表征学习，因为其顶层核函数由超参数固定，导致泛化性能差。
• 当网络更窄更深时，有限深度线性网络表现出更高的表征灵活性；在空间结构化输入下，CNNs优于LCNs。
• 在MAP与后验采样两种方法下，学习到的网络中的表征均从输入核（输入内积）过渡到输出核（标签独热编码的内积）。
• 对于MAP推断，该过渡过程与网络宽度无关；但在贝叶斯网络中，随着宽度增加，表征越来越受先验主导，对数据的响应减弱。
• 在CIFAR-10上使用SGD训练的ResNet中，学习到的表征与输出核的接近程度远高于与输入核的接近程度——与具有瓶颈结构的深度线性模型的预测一致。
• 顶层核的渐近行为取决于隐藏单元数与输出通道数的比值：当 N/Y → 0 时，其收敛于输出核；当 N/Y → ∞ 时，收敛于单位矩阵；当 N/Y = 1 时，表现出中间行为。