[论文解读] Relaxed Control and Gamma-Convergence of Stochastic Optimization Problems with Mean Field

Lijun Bo, Agostino Capponi+1 more|arXiv (Cornell University)|Jun 20, 2019

Model Reduction and Neural Networks被引用 2

一句话总结

该论文通过从连续层理想化中采样，建立了深度残差网络中均场随机优化最优松弛控制的存在性。它证明了采样目标泛函在训练集大小趋于无穷时的Γ-收敛性，其极限与随机环境中非线性福克-普朗克-柯尔莫哥洛夫方程的解相关联，并表明最优网络权重可通过在分布意义下求解具有诺伊曼边界条件的二阶微分方程来计算。

ABSTRACT

We study a class of stochastic optimization problems of the mean-field type arising in the optimal training of a deep residual neural network. We consider the sampling problem arising from a continuous layer idealization, and establish the existence of optimal relaxed controls when the training set has finite size. The core of our paper is to prove the Gamma-convergence of the sequence of sampled objective functionals, i.e., show that as the size of the training set grows large, the minimizer of the sampled relaxed problem converges to that of the limiting optimization problem. We connect the limit of the large sampled objective functional to the unique solution, in the trajectory sense, of a nonlinear Fokker-Planck-Kolmogorov (FPK) equation in a random environment. We construct an example to show that, under mild assumptions, the optimal network weights can be numerically computed by solving a second-order differential equation with Neumann boundary conditions in the sense of distributions.

研究动机与目标

• 建立深度残差网络训练中产生的随机优化问题的最优松弛控制的存在性。
• 分析随着训练集规模增大，采样目标泛函的收敛性。
• 将采样目标泛函的极限与随机环境中非线性福克-普朗克-柯尔莫哥洛夫（FPK）方程的解联系起来。
• 证明最优网络权重可通过在分布意义下求解具有诺伊曼边界条件的二阶微分方程来数值计算。

提出的方法

• 通过连续层理想化建模深度残差网络的训练过程，从而导出均场随机优化问题。
• 引入松弛控制以处理优化景观中固有的非凸性和非光滑性。
• 证明当训练集规模趋于无穷时，采样目标泛函的Γ-收敛性。
• 建立极限泛函与随机环境中非线性福克-普朗克-柯尔莫哥洛夫（FPK）方程唯一解之间的联系。
• 构造一个具有诺伊曼边界条件的二阶微分方程，该方程在分布意义下刻画了最优网络权重。
• 利用分布解在弱假设下实现最优权重的数值计算。

实验结果

研究问题

• RQ1 在均场随机优化中，随着训练集规模增大，采样目标泛函是否收敛到一个极限泛函？
• RQ2 采样目标泛函的极限是否与随机环境中非线性福克-普朗克-柯尔莫哥洛夫（FPK）方程的解相关？
• RQ3 能否通过求解具有诺伊曼边界条件的二阶微分方程来计算最优网络权重？
• RQ4 在何种条件下，采样松弛问题的极小化子会收敛到极限问题的极小化子？
• RQ5 松弛控制在确保此类均场优化问题中存在性与收敛性方面起什么作用？

主要发现

• 随着训练集规模增大，采样目标泛函在Γ-收敛意义下趋于一个极限泛函。
• 极限泛函与随机环境中非线性福克-普朗克-柯尔莫哥洛夫（FPK）方程的唯一解相关联。
• 最优网络权重可通过在分布意义下求解具有诺伊曼边界条件的二阶微分方程来计算。
• 在有限训练集下，最优松弛控制的存在性得以确立。
• 在弱假设下，采样问题的极小化子收敛到极限问题的极小化子。
• 该框架通过分布解的ODE数值求解，为训练深度残差网络提供了可计算的可行路径。