[论文解读] Posterior Concentration for Sparse Deep Learning

Nicholas G. Polson, Veronika Ročková|arXiv (Cornell University)|Mar 24, 2018

Domain Adaptation and Few-Shot Learning被引用 20

一句话总结

本文提出Spike-and-Slab深度学习（SS-DL），一种完全贝叶斯方法，通过使用诱导稀疏性的先验分布对深度ReLU网络进行正则化，实现在α-霍赫施塔特光滑函数下的近极小极大率最优后验集中。该方法在无需先验知识的情况下自适应恢复未知光滑度水平，证明了在泛化和模型选择方面的理论最优性。

ABSTRACT

Spike-and-Slab Deep Learning (SS-DL) is a fully Bayesian alternative to Dropout for improving generalizability of deep ReLU networks. This new type of regularization enables provable recovery of smooth input-output maps with unknown levels of smoothness. Indeed, we show that the posterior distribution concentrates at the near minimax rate for $α$-Hölder smooth maps, performing as well as if we knew the smoothness level $α$ ahead of time. Our result sheds light on architecture design for deep neural networks, namely the choice of depth, width and sparsity level. These network attributes typically depend on unknown smoothness in order to be optimal. We obviate this constraint with the fully Bayes construction. As an aside, we show that SS-DL does not overfit in the sense that the posterior concentrates on smaller networks with fewer (up to the optimal number of) nodes and links. Our results provide new theoretical justifications for deep ReLU networks from a Bayesian point of view.

研究动机与目标

• 开发一种完全贝叶斯的深度学习框架，使其能够适应底层函数的未知光滑度水平。
• 解决在不了解函数光滑度的情况下，实现最优网络架构设计（深度、宽度、稀疏性）的挑战。
• 通过非参数贝叶斯框架中的后验集中率，为深度ReLU网络提供理论依据。
• 证明SS-DL通过集中于更小、最优的网络，避免过拟合，这些网络具有更少的活跃节点和连接。

提出的方法

• 该方法在网络权重和连接模式上采用Spike-and-Slab先验，实现对稀疏架构的贝叶斯模型平均。
• 通过分层先验结构对深度ReLU网络进行建模，同时在权重和连接层面诱导稀疏性。
• 利用筛子先验和度量熵论证分析后验分布，以建立集中率。
• 理论分析利用深度ReLU网络的逼近理论（Schmidt-Hieber, 2017）来界定函数类的复杂度。
• 通过覆盖数界和先验集中不等式推导集中率，确保后验以最优速率收缩。
• 该框架在神经网络层内嵌入ℓ₀惩罚，实现自适应子集选择和基于后验概率的模型平均。

实验结果

研究问题

• RQ1 完全贝叶斯的深度学习模型能否在深度ReLU网络中实现对未知光滑度水平的最优后验集中率？
• RQ2 与Dropout相比，Spike-and-Slab正则化在泛化能力和模型选择方面表现如何？
• RQ3 后验分布是否集中于更小、最优的网络，而非过拟合于复杂架构？
• RQ4 该方法能否在不预先知晓α的情况下自适应恢复α-霍赫施塔特光滑函数？
• RQ5 对于具有诱导稀疏性先验的深度非线性模型，后验集中的理论保证是什么？

主要发现

• 后验分布对α-霍赫施塔特光滑映射的集中率接近极小极大率，其性能表现如同已知光滑度水平α一般。
• 即使真实光滑度水平未知，该方法仍能实现最优后验集中，表现出自适应恢复能力。
• SS-DL通过集中于具有最优活跃节点和连接数的更小网络，避免了过拟合。
• 后验集中率被界定为e^(-d n ε_n²)，其中d > 0，且ε_n ~ n^(-α/(2α+p))，对应于p维输入的极小极大率。
• 先验在正确网络规模和稀疏模式上分配了足够的质量，确保后验以最优速率收缩至真实函数。
• 理论分析确认，筛子先验的复杂度受控于n^(p/(2α+p)) log²(n)，与最优后验集中兼容。