[论文解读] Non-Gaussian processes and neural networks at finite widths

Sho Yaida|arXiv (Cornell University)|Sep 30, 2019

Gaussian Processes and Bayesian Inference参考文献 22被引用 12

一句话总结

该论文提出了一种微扰框架，通过建模累积量的类似重整化群的流动，将无限宽神经网络中高斯过程先验扩展到有限宽网络，从而捕捉非高斯的预激活分布。该方法推导出闭合形式的递归方程（R1, R2, R3），逐层追踪非高斯性，实现了在弱非高斯先验下的贝叶斯推断，并量化了核函数与预测分布的有限宽修正。

ABSTRACT

Gaussian processes are ubiquitous in nature and engineering. A case in point is a class of neural networks in the infinite-width limit, whose priors correspond to Gaussian processes. Here we perturbatively extend this correspondence to finite-width neural networks, yielding non-Gaussian processes as priors. The methodology developed herein allows us to track the flow of preactivation distributions by progressively integrating out random variables from lower to higher layers, reminiscent of renormalization-group flow. We further develop a perturbative procedure to perform Bayesian inference with weakly non-Gaussian priors.

研究动机与目标

• 将无限宽神经网络与高斯过程之间已知的对应关系扩展到有限宽网络，通过引入非高斯修正。
• 将预激活分布在各层间的演化建模为类似于重整化群流动的粗粒化过程。
• 为有限宽网络中弱非高斯先验的贝叶斯推断开发系统化的微扰程序。
• 推导出追踪统计矩（特别是累积量）从低层到高层流动的递归方程。
• 量化神经网络中核函数与预测分布的有限宽修正，超越高斯近似。

提出的方法

• 推导出控制预激活累积量从一层到下一层流动的递归方程（R1, R2, R3），通过高阶矩捕捉非高斯性。
• 利用Wick收缩和连通相关函数（累积量）系统计算深层网络中预激活的高阶矩。
• 采用在 ε = 1/N 的微扰展开，其中 N 为宽度，将有限宽修正视为对无限宽高斯极限的小偏离。
• 将各层间分布的流动映射到类似重整化群的框架中，其中运行耦合常数代表非高斯性参数。
• 通过使用有限宽修正项修改预测均值和协方差，将高斯过程的贝叶斯推断推广至非高斯先验。
• 推导出包含有限宽修正项的修正预测均值方程（NGPM’），该修正项通过逆核矩阵和累积量驱动项实现。

实验结果

研究问题

• RQ1 如何系统地推导出超越无限宽高斯过程极限的有限宽神经网络的非高斯先验？
• RQ2 预激活分布在各层间的演化能否被建模为类似于重整化群流动的粗粒化过程？
• RQ3 哪些递归方程控制深层网络中累积量（非高斯性）从低层到高层的演化？
• RQ4 有限宽修正如何影响贝叶斯神经网络中的核函数与预测分布？
• RQ5 能否通过微扰修正一致地将贝叶斯推断扩展到弱非高斯先验？

主要发现

• 论文推导出三个递归方程（R1, R2, R3），描述预激活累积量在各层间的微扰演化，实现了对有限宽网络中非高斯性的系统追踪。
• 核函数的有限宽修正通过高阶累积量捕捉，并推导出 1/N 的一阶修正项的显式表达式。
• 贝叶斯推断中的预测均值通过包含训练数据核的逆矩阵和累积量驱动项的微扰修正项进行修改，从而得到新的预测模型（NGPM’）。
• 该方法在 N→∞ 极限下成功重现了已知的无限宽结果，并为有限宽修正提供了统一的微扰框架。
• 该框架具有通用性，适用于任意激活函数，仅依赖于权重和偏置的统计结构及其累积量。
• 该方法在深层网络层动力学与重整化群流动之间建立了形式类比，运行耦合常数在每一尺度上量化了非高斯性。