[论文解读] Selection dynamics for deep neural networks

Hailiang Liu, Peter A. Markowich|arXiv (Cornell University)|May 22, 2019

Model Reduction and Neural Networks参考文献 58被引用 7

一句话总结

本文通过在宽度和深度上取连续极限，提出了一种用于深度残差神经网络的偏微分方程（PDE）框架，实现了对前向传播、适定性、稳定性及稳态行为的严格数学分析。该研究利用最优控制理论、变分法和庞特里亚金最大值原理，建立了逆学习问题的最优性条件，提出了一种新颖的基于PDE的理论基础，统一了深度学习与动力系统、PDE理论及最优控制，具有超越传统反向传播的数值稳定性提升与算法设计潜力。

ABSTRACT

This paper presents a partial differential equation framework for deep residual neural networks and for the associated learning problem. This is done by carrying out the continuum limits of neural networks with respect to width and depth. We study the wellposedness, the large time solution behavior, and the characterization of the steady states of the forward problem. Several useful time-uniform estimates and stability/instability conditions are presented. We state and prove optimality conditions for the inverse deep learning problem, using standard variational calculus, the Hamilton-Jacobi-Bellmann equation and the Pontryagin maximum principle. This serves to establish a mathematical foundation for investigating the algorithmic and theoretical connections between neural networks, PDE theory, variational analysis, optimal control, and deep learning.

研究动机与目标

• 通过在宽度和深度上取连续极限，为深度残差神经网络建立严格的数学框架。
• 分析控制网络动力学的前向PDE问题的适定性、长时间行为及稳态解。
• 利用变分法和庞特里亚金最大值原理，建立逆深度学习问题的最优性条件。
• 用控制理论方法替代经典梯度下降，导出用于参数优化的耦合前向-后向PDE系统。
• 通过PDE的离散化，实现新型数值算法，生成与标准显式欧拉格式不同的网络架构。

提出的方法

• 推导深度残差网络在宽度和深度上的连续极限，建立隐藏单元动态的PDE模型。
• 将前向问题表述为时间演化PDE：∂ₜf = σ(a − B_b f)，初始条件为 f(t=0) = f_I。
• 通过伴随动力学定义后向问题：∂ₜr = B_b^T σ′(a − B_b f) r，终端条件为 r(T) = f̃ − f(T)。
• 应用汉密尔顿-雅可比-贝尔曼方程和庞特里亚金最大值原理，推导学习问题的必要最优性条件。
• 提出两种算法：一种用于无梯度优化的邻近交替最小化（PAM）方案，另一种基于哈密尔顿函数最大化的逐次逼近方法。
• 通过前向-后向PDE的数值离散化，生成与标准逐层方案不同的替代网络架构。

实验结果

研究问题

• RQ1 如何在宽度和深度上对深度残差网络的连续极限进行形式化，从而建立网络动态的PDE模型？
• RQ2 所得前向PDE系统的适定性、稳定性及长时间行为特性为何？
• RQ3 如何利用变分法和庞特里亚金最大值原理，将逆学习问题重述为最优控制问题？
• RQ4 从PDE系统的哈密尔顿结构中导出的网络参数必要最优性条件是什么？
• RQ5 基于PDE的离散化能否产生新型网络架构与超越标准反向传播及显式欧拉格式的改进训练算法？

主要发现

• PDE框架通过宽度和深度的连续极限，为深度残差网络提供了统一的数学处理方式，揭示了隐藏单元间的内在选择动力学。
• 在适当条件下，前向PDE问题具有适定性，建立了时间一致的估计，以及解动态的稳定性/不稳定性判据。
• 逆学习问题可通过庞特里亚金最大值原理导出最优性条件，形成基于哈密尔顿函数的优化框架。
• 所提出的PAM算法对任意正步长τ均保证损失泛函单调递减，相较于标准梯度下降提供了更优的收敛性保证。
• 哈密尔顿函数最大化的算法实现了层间优化的解耦，支持并行化处理，避免了反向传播，同时可通过哈密尔顿估计实现显式误差控制。
• 前向-后向PDE的离散化生成了与标准显式欧拉方法不同的替代网络架构，暗示了深度学习中新型算法路径的潜力。