[论文解读] On the Stability of Deep Networks

Raja Giryes, Guillermo Sapiro+1 more|arXiv (Cornell University)|Dec 18, 2014

Sparse and Compressive Sensing Techniques参考文献 13被引用 10

一句话总结

本文证明了具有随机高斯权重的深度神经网络能够对输入数据执行保持距离的嵌入，从而在各层之间保持度量结构。其关键贡献在于从理论上解释了为何此类网络能稳定地从特征中恢复数据，以及为何训练数据需求量随数据内在维度呈指数级增长，这一结论通过高斯均值宽度和覆盖数的形式得以形式化。

ABSTRACT

In this work we study the properties of deep neural networks (DNN) with random weights. We formally prove that these networks perform a distance-preserving embedding of the data. Based on this we then draw conclusions on the size of the training data and the networks' structure. A longer version of this paper with more results and details can be found in (Giryes et al., 2015). In particular, we formally prove in the longer version that DNN with random Gaussian weights perform a distance-preserving embedding of the data, with a special treatment for in-class and out-of-class data.

研究动机与目标

• 从理论上解释具有随机权重的深度神经网络在保持数据结构方面的经验成功。
• 建立数据复杂度（内在维度）与所需训练样本量之间的联系。
• 形式化说明具有随机权重的深度网络如何实现从特征表示中稳定恢复输入数据。
• 利用几何概率工具分析通过各层的特征嵌入稳定性。

提出的方法

• 使用具有独立同分布条目的随机高斯矩阵和半截断线性激活函数，对单个DNN层进行理论分析。
• 应用高维概率中的结果（Plan & Vershynin, 2014；Klartag & Mendelson, 2005），证明在Gromov-Hausdorff意义下的稳定嵌入。
• 利用覆盖数和Dudley不等式，对各层之间高斯均值宽度的变化进行上界估计。
• 通过Sudakov最小化不等式推导出所需训练样本数的上界，将数据复杂度与样本复杂度联系起来。
• 将结果扩展至高斯混合模型（GMM）和子空间并集等模型，表明宽度随维度和log-L增长。
• 对通过重建程序A实现的特征恢复进行形式化处理，其误差被有界为O(ω(K)/√m)。

实验结果

研究问题

• RQ1 具有随机权重的深度神经网络如何保持输入数据中度量关系？
• RQ2 此类网络中有效泛化的训练样本数量由什么决定？
• RQ3 能否从具有随机权重的DNN生成的特征中稳定恢复输入数据？
• RQ4 数据的内在维度如何影响随机DNN的稳定性与样本复杂度？
• RQ5 在随机DNN的各层中传播时，高斯均值宽度的变化程度如何？

主要发现

• 具有随机高斯权重和半截断线性激活函数的单个DNN层，以高概率保持输入数据点之间的距离，形式化为‖x−y‖₂ ≃ d(f(Mx),f(My))。
• 从特征中恢复输入数据的重建误差被有界为ε = O(ω(K)/√m)，证明理论上可实现稳定恢复。
• 每层特征空间的覆盖数满足N(f(MK),ε) ≤ N(K, ε/(1 + ω(K)/√m))，表明度量失真得到控制。
• 对于具有L个分量和维度k的高斯混合模型，高斯均值宽度ω(K)被有界为O(√(k + log L))，将数据复杂度与网络行为联系起来。
• 所需训练样本数的规模为O(exp(ω(K)²/ε²))，表明其对数据内在维度呈指数依赖。
• 该分析可扩展至子高斯权重分布和随机卷积滤波器，利用压缩感知与随机矩阵理论中的既定技术。