[论文解读] Towards a Mathematical Understanding of Neural Network-Based Machine Learning: what we know and what we don't

E Weinan, Chao Ma+2 more|arXiv (Cornell University)|Sep 22, 2020

Neural Networks and Applications参考文献 85被引用 50

一句话总结

本论文综述基于神经网络学习的当前数学理解，聚焦近似、泛化、损失景观和训练动力学，强调过参数化和隐式正则化。

ABSTRACT

The purpose of this article is to review the achievements made in the last few years towards the understanding of the reasons behind the success and subtleties of neural network-based machine learning. In the tradition of good old applied mathematics, we will not only give attention to rigorous mathematical results, but also the insight we have gained from careful numerical experiments as well as the analysis of simplified models. Along the way, we also list the open problems which we believe to be the most important topics for further study. This is not a complete overview over this quickly moving field, but we hope to provide a perspective which may be helpful especially to new researchers in the area.

研究动机与目标

• 解释基于神经网络的学习成功与脆弱性背后的原因。
• 识别并形式化控制近似和泛化的函数空间与范数。
• 讨论训练中的损失景观、优化动力学与隐式正则化。
• 从数值分析角度勾勒关键结果，并强调主要未解问题。

提出的方法

• 回顾高维函数近似的普适逼近结果及其量化限制（如 Barron 型结果）。
• 引入并分析随机特征模型及其相关的 RKHS，作为自然的假设空间。
• 通过 Barron 空间及直接/反向逼近定理，发展两层神经网络理论。
• 通过深度相关的函数空间与深度分离概念，讨论残差网络和多层网络。
• 利用高维类比及均场/梯度动力学结果，考察损失景观。
• 给出基于 Rademacher 复杂度的泛化界及其对可学习性和估计误差的含义。

实验结果

研究问题

• RQ1 与常见神经网络结构（例如两层网络）相关的自然函数空间有哪些，它们控制近似和泛化？
• RQ2 在高维且常常过参数化的情形下，近似误差与估计误差如何权衡？
• RQ3 损失景观与训练动力学在选择具有良好泛化的解中扮演何种角色？
• RQ4 优化动力学中的隐式正则化能否取代显式正则化以实现鲁棒泛化？
• RQ5 将数值分析直觉与实际深度学习模型联系起来的局限性和未解问题有哪些？

主要发现

• 对于随机特征模型，直接近似误差按 1/m 衰减，Barron 范数控制速率。
• 两层网络可以以 1/sqrt(m) 的 L2 误差近似 Barron 函数，L∞ 误差的收敛速率取决于维度。
• Barron 空间为两层网络提供自然的函数空间；Barron 范数同时界定近似和泛化方面。
• Rademacher 复杂度界限在理想情形下意味着泛化差为 ||f*||_*^2/m + ||f*||_* / sqrt(n) 量级，揭示模型规模与数据之间的权衡。
• 在过参数化情形下，存在全局极小值，训练动力学（隐式正则化）可以影响选择哪些极小值，从而影响泛化。
• 深度相关分析（例如残差网络）与均场尺度提供对训练动力学与收敛的定性见解，仍有许多尚待解决的问题。