[论文解读] Wide Neural Networks with Bottlenecks are Deep Gaussian Processes

Devanshu Agrawal, Theodore Papamarkou+1 more|arXiv (Cornell University)|Jan 3, 2020

Gaussian Processes and Bayesian Inference参考文献 55被引用 6

一句话总结

本文证明了具有有限宽度瓶颈层的贝叶斯神经网络在宽度趋于无穷时收敛到高斯过程的复合结构——称为瓶颈神经网络高斯过程（bottleneck NNGP）。关键贡献在于形式化证明了复合网络的宽极限等于极限高斯过程的复合，从而解决了层次化架构收敛过程中一个微妙的技术难题。

ABSTRACT

There has recently been much work on the "wide limit" of neural networks, where Bayesian neural networks (BNNs) are shown to converge to a Gaussian process (GP) as all hidden layers are sent to infinite width. However, these results do not apply to architectures that require one or more of the hidden layers to remain narrow. In this paper, we consider the wide limit of BNNs where some hidden layers, called "bottlenecks", are held at finite width. The result is a composition of GPs that we term a "bottleneck neural network Gaussian process" (bottleneck NNGP). Although intuitive, the subtlety of the proof is in showing that the wide limit of a composition of networks is in fact the composition of the limiting GPs. We also analyze theoretically a single-bottleneck NNGP, finding that the bottleneck induces dependence between the outputs of a multi-output network that persists through extreme post-bottleneck depths, and prevents the kernel of the network from losing discriminative power at extreme post-bottleneck depths.

研究动机与目标

• 正式建立具有有限宽度瓶颈层的贝叶斯神经网络在宽极限下收敛到深度高斯过程。
• 解决在层次化神经网络架构中交换极限与复合操作的技术难题。
• 通过证明瓶颈结构产生NNGP的复合，统一神经网络高斯过程（NNGPs）与深度高斯过程（DGPs）的理论框架。
• 分析瓶颈对多输出网络中输出依赖性和核行为的影响。
• 通过实证表明，与标准NNGPs相比，瓶颈NNGPs在真实数据集上能获得更高的模型似然。

提出的方法

• 提出一种瓶颈BNN架构，其中一个或多个隐藏层保持有限宽度，而其余所有层趋于无限宽度。
• 将输入、瓶颈层或输出层之间的子网络定义为“组件”，每个组件在宽极限下收敛到NNGP。
• 证明整个复合结构的宽极限收敛到极限NNGP的复合，前提是每个瓶颈后组件相对于输入一致收敛。
• 使用有界收敛定理，证明对瓶颈层随机预激活值的积分与极限操作可交换。
• 利用单瓶颈多输出ReLU网络中输出平方之间相关性的闭式表达式，分析瓶颈引入的依赖性。
• 通过核传播映射的不动点分析，推导出深瓶颈后极限下核的渐近行为。

实验结果

研究问题

• RQ1 具有有限宽度瓶颈层的贝叶斯神经网络在宽极限下是否收敛到高斯过程的复合？
• RQ2 能否将复合网络的极限等同于其各组件极限的复合？在何种条件下成立？
• RQ3 瓶颈层如何影响多输出深度网络中输出变量之间的依赖结构？
• RQ4 在深瓶颈后极限下，核的行为如何？是否保持判别能力？
• RQ5 瓶颈NNGPs能否在真实数据集上实现比标准NNGPs更高的模型似然？

主要发现

• 具有瓶颈层的贝叶斯神经网络在宽极限下收敛到由NNGPs组成的深度高斯过程，正式证明了直观预期。
• 当瓶颈后组件相对于输入一致收敛时，复合网络收敛到极限高斯过程的复合成立。
• 单个瓶颈层即使在深瓶颈后极限下，也会在多输出网络中引入非平凡的输出变量依赖性。
• 基于ReLU的瓶颈NNGP中，输出平方之间的相关性由核传播映射不动点的闭式表达式给出。
• 在深瓶颈后极限下，核保持非退化且具有判别性，当瓶颈后权重方差超过1时，输出间相关性与1保持有界距离。
• 实证结果表明，与标准NNGPs相比，瓶颈NNGPs在三个基准数据集上实现了更高的模型似然，证明了该架构的实际优势。