[论文解读] Towards Expressive Priors for Bayesian Neural Networks: Poisson Process Radial Basis Function Networks

Beau Coker, Melanie F. Pradier+1 more|arXiv (Cornell University)|Dec 12, 2019

Gaussian Processes and Bayesian Inference参考文献 38被引用 5

一句话总结

该论文提出泊松过程径向基函数网络（PoRB-NETs），一种贝叶斯神经网络先验，通过在RBF中心上使用泊松过程，实现对幅度方差和输入相关长度尺度的解耦指定。该方法确保了函数估计的一致性，并自适应调整网络容量和不确定性，在真实和合成数据上优于标准BNN，性能与GP相当，且具备更优的功能可解释性。

ABSTRACT

While Bayesian neural networks have many appealing characteristics, current priors do not easily allow users to specify basic properties such as expected lengthscale or amplitude variance. In this work, we introduce Poisson Process Radial Basis Function Networks, a novel prior that is able to encode amplitude stationarity and input-dependent lengthscale. We prove that our novel formulation allows for a decoupled specification of these properties, and that the estimated regression function is consistent as the number of observations tends to infinity. We demonstrate its behavior on synthetic and real examples.

研究动机与目标

• 为解决标准贝叶斯神经网络（BNN）先验缺乏功能可解释性的问题，这些先验无法编码平稳性、长度尺度或信号方差等基本特性。
• 开发一种BNN先验，可直接编码功能性特征——特别是幅度平稳性和输入相关长度尺度——类似于高斯过程（GPs）。
• 实现幅度方差与长度尺度的解耦指定，确保两者可独立控制而不相互干扰。
• 提供理论基础坚实、可扩展的推理方法，能够根据数据自适应调整网络容量和不确定性，即使先验期望存在偏差亦能如此。
• 通过实证验证模型捕捉非平稳模式及在数据间隙处调整不确定性的能力，性能与GP和基于dropout的基线方法相当或更优。

提出的方法

• 以单层径向基函数网络（RBFN）作为基础模型，其中中心点从输入空间上的泊松过程先验中抽取。
• 泊松过程的强度函数被建模为非平稳、输入相关的函数，从而实现灵活的长度尺度控制。
• 通过RBF核中的独立尺度参数控制幅度方差，确保其与长度尺度解耦。
• 采用层次先验结构，将泊松过程强度本身建模为GP，从而允许从数据中学习非平稳长度尺度。
• 使用马尔可夫链蒙特卡洛（MCMC）进行后验推断，包括可逆跳跃MCMC以推断隐藏单元数量。
• 该方法确保一致性：随着观测数量增加，估计的回归函数收敛于真实函数。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯神经网络先验，使其可直接编码功能性特征（如幅度平稳性和输入相关长度尺度），类似于高斯过程？
• RQ2 在RBF中心上采用的泊松过程先验是否能实现幅度方差与长度尺度的解耦控制，避免在朴素泊松中心放置中出现的耦合问题？
• RQ3 当先验期望存在偏差时，模型是否能根据数据复杂度自适应调整其有效容量（即隐藏单元数量）？
• RQ4 模型在数据间隙处的不确定性分布行为如何？是否可通过强度调节来反映样本外不确定性？
• RQ5 PoRB-NET的性能是否可与SOTA方法（如具有输入相关长度尺度的GP，即L-GP，以及基于dropout的不确定性估计）相媲美？

主要发现

• PoRB-NET在观测数量增加时实现一致的函数估计，证明了回归函数的理论一致性。
• 该模型成功实现幅度方差与长度尺度的解耦，允许独立指定——这与标准BNN中两者在参数空间中纠缠的情况形成鲜明对比。
• 在合成实验中，PoRB-NET能自适应地将隐藏单元数量从先验期望的3个调整为数据复杂度增加时的5–7个，优于固定容量的标准BNN。
• 在数据间隙处，提高泊松过程强度会减小长度尺度，从而导致不确定性上升，实现对样本外不确定性的显式控制。
• 在真实数据集（摩托车、金融、MIMIC）上，PoRB-NET能捕捉非平稳模式，并生成与具有输入相关长度尺度的GP（L-GP）非常接近的不确定性估计，优于基于dropout的方法。
• PoRB-NET中推断的强度函数在函数变化迅速的区域（如摩托车数据的中部、MIMIC中的峰值区域）更高，表明其能有效学习局部长度尺度的变化。