[论文解读] Why and When Can Deep -- but Not Shallow -- Networks Avoid the Curse of Dimensionality

Tomaso Poggio, H. N. Mhaskar+3 more|arXiv (Cornell University)|Nov 2, 2016

Neural Networks and Applications被引用 6

一句话总结

本文表明，通过利用分层的、组合的结构，深度神经网络可以克服某些函数类别的维度灾难问题，从而相对于浅层网络实现指数级优势。关键洞见在于，深度使得具有嵌套和递归依赖关系的函数能够被高效表示，即使没有参数共享，这也解释了为何在实践中深度卷积网络优于浅层网络。

ABSTRACT

The paper characterizes classes of functions for which deep learning can be exponentially better than shallow learning. Deep convolutional networks are a special case of these conditions, though weight sharing is not the main reason for their exponential advantage.

研究动机与目标

• 识别深度网络相对于浅层网络在哪些函数类别上能提供指数级优势。
• 分析深度在何种结构条件下能提供超越参数数量本身的表示优势。
• 澄清卷积网络中的参数共享是否为其实现成功的主要原因，还是仅属于更广泛原理的一个特例。
• 形式化深度架构在何种条件下可避免浅层学习的指数级样本复杂度。

提出的方法

• 作者定义了一类具有分层、组合结构的函数，其中每一层将更简单的函数组合成更复杂的函数。
• 他们构建了显式的深度网络架构，证明这些函数可用远少于任何浅层网络的参数来表示。
• 分析依赖于证明浅层网络近似此类函数所需的最小参数数量。
• 证明技术结合了信息论和逼近论的论证，表明浅层网络需指数级更多的单元才能达到相同精度。
• 该框架普遍适用于具有嵌套依赖关系的函数，不仅限于卷积网络。
• 作者表明，即使没有参数共享，深度网络在这些函数类别上仍能实现指数级效率。

实验结果

研究问题

• RQ1 在哪些函数类别上，深度网络相对于浅层网络能提供指数级的表示优势？
• RQ2 卷积网络中的参数共享是否为其实现成功的基本原因，还是更广泛原理的派生结果？
• RQ3 对于具有层次结构的函数，即使没有参数绑定，深度网络能否避免维度灾难？
• RQ4 函数的哪些结构特性使其适合被深度网络高效表示？

主要发现

• 深度网络可用远少于浅层网络的参数来表示某些分层函数。
• 指数级优势源于函数的组合结构，而非参数共享本身。
• 即使没有参数共享，深度网络也能在具有嵌套和递归依赖关系的函数上实现指数级效率。
• 浅层网络需指数级更多的参数来近似相同函数，从而导致维度灾难。
• 理论结果解释了为何深度卷积网络在实践中有效，即使参数共享并非主导因素。
• 研究结果为深度学习在高维函数逼近中的经验成功提供了形式化基础。