[论文解读] Poly-time universality and limitations of deep learning

Emmanuel Abbé, Colin Sandon|arXiv (Cornell University)|Jan 7, 2020

Machine Learning and Algorithms参考文献 37被引用 9

一句话总结

该论文证明了基于随机梯度下降（SGD）的深度学习在学习任何可在多项式时间内学习的函数分布时具有普遍效率，通过证明使用SGD训练的多项式大小神经网络能够模拟任何此类算法。相比之下，全批量梯度下降（GD）和统计查询算法在低交叉可预测性函数分布（如异或函数）上失败，揭示了SGD与GD在优化普遍性上的根本性差异。

ABSTRACT

The goal of this paper is to characterize function distributions that deep learning can or cannot learn in poly-time. A universality result is proved for SGD-based deep learning and a non-universality result is proved for GD-based deep learning; this also gives a separation between SGD-based deep learning and statistical query algorithms: (1) {\it Deep learning with SGD is efficiently universal.} Any function distribution that can be learned from samples in poly-time can also be learned by a poly-size neural net trained with SGD on a poly-time initialization with poly-steps, poly-rate and possibly poly-noise. Therefore deep learning provides a universal learning paradigm: it was known that the approximation and estimation errors could be controlled with poly-size neural nets, using ERM that is NP-hard; this new result shows that the optimization error can also be controlled with SGD in poly-time. The picture changes for GD with large enough batches: (2) {\it Result (1) does not hold for GD:} Neural nets of poly-size trained with GD (full gradients or large enough batches) on any initialization with poly-steps, poly-range and at least poly-noise cannot learn any function distribution that has super-polynomial {\it cross-predictability,} where the cross-predictability gives a measure of ``average'' function correlation -- relations and distinctions to the statistical dimension are discussed. In particular, GD with these constraints can learn efficiently monomials of degree $k$ if and only if $k$ is constant. Thus (1) and (2) point to an interesting contrast: SGD is universal even with some poly-noise while full GD or SQ algorithms are not (e.g., parities).

研究动机与目标

• 确定哪些函数分布可以被深度学习在多项式时间内学习。
• 研究基于SGD的训练是否为高效可学习函数提供了一个通用学习框架。
• 识别基于GD的训练的局限性及其与统计查询算法的分离性。
• 分析噪声和梯度更新对深度学习普遍性的影响。

提出的方法

• 作者构建了一个多项式大小的神经网络，通过特定初始化和学习率的噪声SGD，模拟任意多项式时间学习算法。
• 他们证明SGD可以通过利用不可区分性与序列学习算法（SLA）技术，学习任何具有超多项式交叉可预测性的函数分布。
• 该方法使用控制机制，确保训练期间仅相关权重被更新，从而保持稳定性并实现对算法步骤的模拟。
• 通过向梯度和权重引入多项式噪声，分析噪声鲁棒性，表明在这些扰动下普遍性依然保持。
• 理论分析依赖于通过神经网络模拟任意算法，边权重经过精心初始化以控制更新动态。
• 关键组件是使用允许基于导数控制权重更新的激活函数，确保训练期间仅目标边发生变化。

实验结果

研究问题

• RQ1 基于SGD的深度学习是否能够学习任何在多项式时间内可高效学习的函数分布？
• RQ2 使用大批次的全批量梯度下降（GD）是否也能在多项式时间内实现普遍性？
• RQ3 交叉可预测性在决定GD或统计查询算法下函数类可学习性方面起什么作用？
• RQ4 梯度和权重更新中的噪声如何影响基于SGD的学习的普遍性？
• RQ5 在内存约束或部分权重更新（如坐标下降）下，是否也能实现相同的普遍性结果？

主要发现

• 基于SGD的深度学习具有多项式时间普遍性：任何在多项式时间内可学习的函数分布，均可通过使用多项式时间初始化、多项式步数和多项式噪声训练的多项式大小神经网络实现学习。
• 即使在梯度和权重中引入多项式噪声，普遍性结果依然成立，表明对噪声具有鲁棒性。
• 使用全梯度或大批次的GD无法学习具有超多项式交叉可预测性的函数分布（如异或函数或高次单项式）。
• 对于次数为 $k$ 的单项式，GD仅在 $k$ 为常数时才能高效学习，表明存在明显的局限性。
• 该论文建立了基于SGD的深度学习与统计查询（SQ）算法之间的分离性，因为SQ算法在噪声存在下无法处理同一类函数。
• 即使存在噪声或更新频率降低（如坐标下降），当噪声水平超过阈值时，SGD也无法维持普遍性，表明噪声与可学习性之间存在权衡。