[论文解读] The Connection Between Approximation, Depth Separation and Learnability in Neural Networks

Eran Malach, Gilad Yehudai+2 more|arXiv (Cornell University)|Jan 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 4

一句话总结

本文建立了深度神经网络中近似能力与可学习性之间的基本联系，表明通过梯度下降或统计查询（SQ）算法进行高效学习，需要由更简单的模型（如浅层网络或核类）实现弱近似。关键结果是：如果某一函数无法被此类简单类弱近似，则即使它能被深度网络精确表示，也无法被高效学习。

ABSTRACT

Several recent works have shown separation results between deep neural networks, and hypothesis classes with inferior approximation capacity such as shallow networks or kernel classes. On the other hand, the fact that deep networks can efficiently express a target function does not mean that this target function can be learned efficiently by deep neural networks. In this work we study the intricate connection between learnability and approximation capacity. We show that learnability with deep networks of a target function depends on the ability of simpler classes to approximate the target. Specifically, we show that a necessary condition for a function to be learnable by gradient descent on deep neural networks is to be able to approximate the function, at least in a weak sense, with shallow neural networks. We also show that a class of functions can be learned by an efficient statistical query algorithm if and only if it can be approximated in a weak sense by some kernel class. We give several examples of functions which demonstrate depth separation, and conclude that they cannot be efficiently learned, even by a hypothesis class that can efficiently approximate them.

研究动机与目标

• 研究深度神经网络中近似能力与高效可学习性之间的联系。
• 确定深度分离是否意味着可学习性，或是否阻碍高效学习。
• 形式化弱近似的概念，并证明其对通过梯度下降和SQ算法学习的必要性。
• 分析已知的深度分离函数（例如Telgarsky的三角函数、奇偶函数），并证明它们无法被高效学习。

提出的方法

• 引入弱近似概念：若假设类在平均意义上优于随机猜测，则其弱近似目标函数。
• 证明：除非3层网络弱近似目标类，否则梯度下降无法高效学习该目标类。
• 建立刻画：通过SQ算法可学习的类，当且仅当其可被核类弱近似。
• 利用舍入技术与泛化界，将结果从特定架构推广至一般多项式大小的两隐藏层网络。
• 分析已知的深度分离函数（如Telgarsky的函数、奇偶函数），并证明其无法被浅层或核模型弱近似。
• 利用利普希茨连续性与集中不等式，界定泛化误差，并推导学习误差的下界。

实验结果

研究问题

• RQ1 若某一函数能被深度网络精确表示，但无法被浅层网络弱近似，是否仍可能无法通过梯度下降学习？
• RQ2 是否存在统计查询算法高效学习的必要条件？其与核近似的关联为何？
• RQ3 已知的深度分离函数（如Telgarsky的三角函数）是否即使可被深度网络表示，也无法被高效学习？
• RQ4 即使目标函数可被更深模型完美表示，浅层网络或核类的弱近似是否仍为高效学习的必要条件？
• RQ5 在深度网络中，近似强度与学习效率之间的定量权衡为何？

主要发现

• 若3层神经网络无法弱近似目标函数，则梯度下降无法在深度网络上高效学习该函数。
• 通过任何统计查询算法可学习的函数类，当且仅当其可被核类弱近似。
• 表现出深度分离的Telgarsky三角函数，由于浅层网络无法实现弱近似，因此无法被梯度下降高效学习。
• 奇偶函数在深度网络与核方法之间形成分离，但无法被高效SQ算法学习，因其无法被核类弱近似。
• 一个能分离2层与3层网络的特定函数，由于浅层或核模型无法实现弱近似，因此无法被任何SQ算法学习。
• 本文提供了定量界：对于多项式大小的两隐藏层网络，学习误差至少为 $1 - \frac{6\sqrt{k}R^{2}n^{5/6}}{d(n)^{1/18}}$，表明弱近似性能差将导致高学习误差。