[论文解读] The Mathematics of Artificial Intelligence

Gitta Kutyniok|arXiv (Cornell University)|Mar 16, 2022

Computational Physics and Python Applications被引用 6

一句话总结

本综述论文对深度神经网络（现代人工智能的核心引擎）进行了全面的数学分析，聚焦其在表达能力、优化、泛化和鲁棒性方面的理论基础。研究结果表明，深度神经网络能够在求解高维参数化偏微分方程（PDEs）时克服维度灾难，且在逼近精度和问题维度上具有多项式依赖的理论保证。

ABSTRACT

We currently witness the spectacular success of artificial intelligence in both science and public life. However, the development of a rigorous mathematical foundation is still at an early stage. In this survey article, which is based on an invited lecture at the International Congress of Mathematicians 2022, we will in particular focus on the current "workhorse" of artificial intelligence, namely deep neural networks. We will present the main theoretical directions along with several exemplary results and discuss key open problems.

研究动机与目标

• 建立对深度神经网络作为现代人工智能核心技术的严谨数学理解。
• 识别并分析人工智能数学基础中的关键开放问题，特别是在表达能力、优化和泛化方面。
• 探索深度学习在数学问题（如反问题和偏微分方程）中的应用。
• 研究深度神经网络是否能在高维设置下克服维度灾难。
• 解决深度学习在鲁棒性和泛化方面理论基础薄弱的问题。

提出的方法

• 将深度神经网络视为函数逼近器，重点关注其表示复杂高维映射的能力。
• 应用参数化映射框架：$ \mathcal{Y} \ni y \mapsto \mathbf{u}_y^h \in \mathbb{R}^D $，表示参数化PDE的解。
• 使用深度Ritz方法和物理信息神经网络（PINNs）将PDE约束直接嵌入损失函数。
• 通过网络表达能力的理论分析，证明深度神经网络 $ \Phi $ 可在 $ \epsilon $ 误差范围内逼近参数化映射。
• 证明网络复杂度 $ C(\Phi) $ 随参数维度 $ p $ 和离散化维度 $ D $ 呈多项式增长，避免了指数级增长。
• 依赖数值实验支持一般化和维度扩展性在实践中表现有利的假设，尽管对学习动态的理论分析仍有限。

实验结果

研究问题

• RQ1 深度神经网络能否以可控复杂度逼近高维参数化PDE的解映射？
• RQ2 深度在使神经网络克服维度灾难方面起什么作用？
• RQ3 为何大容量神经网络即使在高容量下也不过拟合？
• RQ4 如何从理论上为深度神经网络的训练过程提供理论基础，以确保鲁棒性和泛化能力？
• RQ5 神经网络能否在科学计算应用中有效替代专用数值求解器？

主要发现

• 存在一个深度神经网络 $ \Phi $，可将参数化映射 $ y \mapsto \mathbf{u}_y^h $ 以任意期望的 $ \epsilon > 0 $ 精度逼近，满足对所有 $ y \in \mathcal{Y} $ 有 $ \|\Phi(y) - \mathbf{u}_y^h\| \leq \epsilon $。
• 近似网络的复杂度 $ C(\Phi) $ 随参数维度 $ p $ 和离散化维度 $ D $ 呈多项式增长，表明其可能解决维度灾难问题。
• 关于表达能力的理论结果表明，深度网络能高效表示高维解映射，暗示其相对于经典方法的根本优势。
• 数值实验（见[11]）表明，即使在理论分析学习与泛化机制仍有限的情况下，训练后的神经网络在实践中也未表现出维度灾难。
• 通过PINNs和深度Ritz方法将PDE约束融入损失函数，可实现物理信息学习并提高解的精度。
• 尽管实践上取得成功，深度学习在优化收敛性和鲁棒性方面仍缺乏坚实的理论基础，凸显了进一步数学研究的必要性。