[论文解读] Uncertainty Quantification for Sparse Deep Learning

Yuexi Wang, Veronika Ročková|arXiv (Cornell University)|Feb 26, 2020

Gaussian Processes and Bayesian Inference参考文献 54被引用 9

一句话总结

本文在非参数回归中为稀疏深度ReLU神经网络建立了半参数Bernstein-von Mises定理，证明了线性和二次泛函的后验分布渐近正态。该研究为深度学习中贝叶斯不确定性量化提供了理论依据，表明在正则条件下，稀疏深度网络的可信区间具有有效的频率学覆盖概率。

ABSTRACT

Deep learning methods continue to have a decided impact on machine learning, both in theory and in practice. Statistical theoretical developments have been mostly concerned with approximability or rates of estimation when recovering infinite dimensional objects (curves or densities). Despite the impressive array of available theoretical results, the literature has been largely silent about uncertainty quantification for deep learning. This paper takes a step forward in this important direction by taking a Bayesian point of view. We study Gaussian approximability of certain aspects of posterior distributions of sparse deep ReLU architectures in non-parametric regression. Building on tools from Bayesian non-parametrics, we provide semi-parametric Bernstein-von Mises theorems for linear and quadratic functionals, which guarantee that implied Bayesian credible regions have valid frequentist coverage. Our results provide new theoretical justifications for (Bayesian) deep learning with ReLU activation functions, highlighting their inferential potential.

研究动机与目标

• 为解决深度学习中不确定性量化缺乏理论依据的问题，特别是贝叶斯框架下的问题。
• 为具有稀疏先验的深度ReLU网络建立半参数Bernstein-von Mises（BvM）定理。
• 证明回归函数泛函的后验可信区域具有有效的频率学覆盖概率。
• 通过后验分布的渐近正态性，弥合认知性贝叶斯不确定性与偶然性频率学推断之间的鸿沟。

提出的方法

• 采用具有稀疏深度ReLU网络先验的贝叶斯层次模型，通过spike-and-slab先验引入稀疏性。
• 应用贝叶斯非参数统计工具，分析低维泛函后验分布的渐近行为。
• 通过证明矩生成函数的收敛性，建立线性泛函后验分布的渐近正态性。
• 对于二次泛函，推导出后验集中在真实泛函值附近的条件，利用投影和逼近误差界。
• 对真实回归函数和网络架构施加正则性条件，包括稀疏性和深度约束。
• 采用筛法方法，将分析限制在随样本量增长但有限维的深度网络子集上，以确保后验集中。

实验结果

研究问题

• RQ1 在非参数回归中，稀疏深度ReLU网络的贝叶斯可信区域能否实现有效的频率学覆盖？
• RQ2 在何种条件下，深度ReLU网络的后验分布会集中在真实回归函数附近？
• RQ3 在稀疏深度网络先验下，回归函数的线性和二次泛函是否表现出渐近正态性？
• RQ4 在高维、非正则的深度学习模型中，半参数泛函的Bernstein-von Mises现象是否成立？
• RQ5 在稀疏深度学习架构中，贝叶斯不确定性的频率学校准能否获得理论依据？

主要发现

• 在稀疏深度ReLU网络中，线性泛函的后验分布渐近正态，且后验方差收敛于Fisher信息矩阵的逆。
• 对于$L^2$-范数等二次泛函，后验分布集中在真实值附近，且矩生成函数收敛于正态分布的矩生成函数。
• 在真实函数位于具有适当稀疏性的深度ReLU网络筛集内的假设下，Bernstein-von Mises现象对线性和二次泛函均成立。
• 在满足条件时，由后验分布导出的可信区域对所研究泛函实现了渐近有效的频率学覆盖。
• 只要满足筛集条件，结果对网络深度、宽度和稀疏结构的模型不确定性具有鲁棒性。
• 理论依据依赖于先前研究（Polson & Rockova, 2018）中建立的稀疏深度ReLU网络的最优后验收缩率。