[论文解读] Why and When Can Deep -- but Not Shallow -- Networks Avoid the Curse of Dimensionality: a Review

Tomaso Poggio, H. N. Mhaskar+3 more|arXiv (Cornell University)|Nov 2, 2016

Neural Networks and Applications参考文献 47被引用 16

一句话总结

该论文表明，深度神经网络可通过利用分层局部性结构，避免组合函数（尤其是分层局部函数）的维度灾难问题，其中每个函数仅作用于输入的一个小而局部的子集。与浅层网络不同，深度网络通过利用分层结构实现指数级的近似效率提升，其关键因素在于每一层的局部性，而非权重重用。

ABSTRACT

The paper characterizes classes of functions for which deep learning can be exponentially better than shallow learning. Deep convolutional networks are a special case of these conditions, though weight sharing is not the main reason for their exponential advantage.

研究动机与目标

• 识别深度网络相较于浅层网络在近似中呈现指数级优势的函数类数学特征。
• 阐明深度学习架构为何在高维函数近似中优于浅层网络。
• 研究局部性与层次结构在使深度网络避免维度灾难中的作用。
• 确定权重重用或架构局部性是否是深度网络效率的主要驱动因素。
• 为深度卷积网络在视觉及其他任务中取得的实证成功提供理论依据。

提出的方法

• 刻画由局部函数的分层组合定义的函数类，其中每个构成函数作用于一个小型、有界维数的输入子集。
• 使用逼近理论比较浅层网络与深层网络在近似此类函数时所需的样本复杂度与网络深度。
• 分析深层ReLU网络与浅层网络在仿射区域数量和表征能力方面的差异。
• 建立理论边界，表明深层网络可使用远少于浅层网络的参数数，近似分层局部的组合函数。
• 证明指数级优势源于分层组合与局部函数组合，而非权重重用。
• 使用递归与组合函数表示法，将深层网络行为建模为一系列简单、局部的变换序列。

实验结果

研究问题

• RQ1 在哪些函数类中，深度网络相较于浅层网络展现出指数级近似优势？
• RQ2 为何深度卷积网络在图像识别等高维任务中优于浅层网络？
• RQ3 深度卷积网络成功的主要原因是否是权重重用，还是其他架构特性？
• RQ4 分层组合性如何与深度网络的表征效率相关联？
• RQ5 能否通过所学习函数的结构，从理论上解释深度学习的成功？

主要发现

• 深度网络可避免对分层局部组合函数的维度灾难，其中每个函数仅作用于输入的一个小而局部的子集。
• 浅层网络在近似同一类组合函数时，所需参数数比深度网络呈指数级增长。
• 深度网络的指数级优势源于分层组合与局部性，而非权重重用。
• 深度网络之所以实现指数级效率，是因为其能够表示低维局部函数的组合。
• 深层ReLU网络中的仿射区域数量随深度呈指数增长，从而在表征能力上显著优于浅层网络。
• 即使不采用权重重用，当函数具有分层局部性时，类似卷积的深层架构仍可实现指数级近似增益。