[论文解读] The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks

Takuo Matsubara, Chris J. Oates+1 more|arXiv (Cornell University)|Oct 16, 2020

Gaussian Processes and Bayesian Inference参考文献 53被引用 6

一句话总结

本文提出了一种新型基于核函数的先验规范方法——岭变换先验（ridgelet prior），用于贝叶斯神经网络（BNNs）中的先验设定，使用户能够直接在神经网络输出中编码期望的高斯过程（GP）行为。通过构建一个近似目标GP协方差的网络权重与偏置先验，该方法实现了非渐近误差界，并建立了普遍性——使得BNN能够近似任意足够光滑的GP，且在实验中验证了其性能优于无结构先验。

ABSTRACT

Bayesian neural networks attempt to combine the strong predictive performance of neural networks with formal quantification of uncertainty associated with the predictive output in the Bayesian framework. However, it remains unclear how to endow the parameters of the network with a prior distribution that is meaningful when lifted into the output space of the network. A possible solution is proposed that enables the user to posit an appropriate Gaussian process covariance function for the task at hand. Our approach constructs a prior distribution for the parameters of the network, called a ridgelet prior, that approximates the posited Gaussian process in the output space of the network. In contrast to existing work on the connection between neural networks and Gaussian processes, our analysis is non-asymptotic, with finite sample-size error bounds provided. This establishes the universality property that a Bayesian neural network can approximate any Gaussian process whose covariance function is sufficiently regular. Our experimental assessment is limited to a proof-of-concept, where we demonstrate that the ridgelet prior can out-perform an unstructured prior on regression problems for which a suitable Gaussian process prior can be provided.

研究动机与目标

• 为解决贝叶斯神经网络（BNNs）中难以直接表达用户对参数信念的先验设定挑战。
• 使用户能够通过指定目标高斯过程（GP）协方差函数，编码关于期望输出行为的领域知识。
• 构建一种BNN参数的先验，使其在输出空间中近似指定的GP，确保可解释性并提升泛化性能。
• 提供理论支撑的、非渐近的分析，以量化BNN与目标GP之间近似误差的关系。
• 通过概念验证实验，证明当存在合适GP先验时，岭变换先验在回归任务中可优于无结构先验。

提出的方法

• 该方法利用岭变换，在前馈神经网络的权重与偏置上构建先验分布，将网络输出与目标GP协方差函数关联起来。
• 推导出确保BNN协方差函数近似目标GP协方差函数的先验超参数（σ_w, σ_b）的显式公式。
• 借助岭变换的非渐近分析，对有限样本下的近似误差进行界控，从而建立理论上的普遍性。
• 该先验设计对权重与偏置的缩放保持不变性，确保重参数化下GP近似的稳定性。
• 该方法随训练样本数N动态调整（σ_w, σ_b），以平衡近似质量与输出变异性。
• 支持多种激活函数（高斯、tanh、ReLU），其收敛速度取决于激活函数的光滑性与有界性。

实验结果

研究问题

• RQ1 能否构建一个贝叶斯神经网络，使其输出协方差函数在有限样本下近似用户指定的高斯过程（GP）协方差函数，并具备误差界？
• RQ2 如何在不手动调优单个参数的情况下，将关于期望输出行为的先验知识编码进BNN中？
• RQ3 在有限样本BNN中，岭变换与GP协方差函数近似之间存在何种理论关系？
• RQ4 激活函数的选择如何影响BNN协方差向目标GP收敛的速度？
• RQ5 随样本数N动态调整权重与偏置方差（σ_w, σ_b）是否能提升BNN对目标GP的近似质量？

主要发现

• 岭变换先验使BNN能够以非渐近误差界近似任意足够光滑的GP协方差函数，建立了普遍性特性。
• 在小样本情况下，增大（σ_w, σ_b）可提升近似质量，但过大会导致输出方差升高。
• 随N动态调整（σ_w, σ_b）可在近似精度与输出稳定性之间实现更优平衡。
• 光滑且有界的激活函数（如高斯、tanh）相比ReLU能更快使BNN协方差收敛至目标GP。
• 在已知合适GP先验的回归任务中，该方法优于无结构先验，表现出更优的预测性能。
• 近似复杂GP协方差函数（如周期型）仍具挑战性，但动态（σ_w, σ_b）策略显著提升了此类模型的性能。