[论文解读] Neural Stochastic Differential Equations.

Stefano Peluchetti, Stefano Favaro|arXiv (Cornell University)|May 27, 2019

Neural Networks and Applications被引用 2

一句话总结

本文建立了无限深度残差网络与随机微分方程（SDEs）之间的联系，表明此类网络通过收敛到连续时间扩散过程，避免了梯度消失和病态函数族的问题。其关键贡献在于构建了一个将深度学习动态与SDEs联系起来的理论框架，使得在无限深度极限下能够实现行为良好且表达能力强的表征。

ABSTRACT

Deep neural networks whose parameters are distributed according to typical initialization schemes exhibit undesirable properties that can emerge as the number of layers increases. These issues include a vanishing dependency on the input and a concentration on restrictive families of functions including constant functions. We address these problems by considering the limit of infinite total depth and examine the conditions under which we achieve convergence to well-behaved continuous-time processes. Doing so we establish the connection between infinitely deep residual networks and solutions to stochastic differential equations, i.e. diffusion processes. We show that deep neural networks satisfying such connection don't suffer from the mentioned pathologies and analyze the SDE limits to shed light on their behavior.

研究动机与目标

• 为解决非常深的神经网络中的病态行为，如梯度消失和对常数函数的集中现象。
• 研究当深度趋近于无穷时，深度残差网络的极限行为，重点关注连续时间动态的出现。
• 在无限深度条件下，建立残差网络与随机微分方程（SDEs）之间的理论基础。
• 分析由此产生的SDE极限，以理解此类网络的功能行为和表达能力。
• 证明基于SDE的网络能够避免在标准初始化下的有限深度架构中观察到的病态问题。

提出的方法

• 分析当层数趋于无穷时残差网络的极限行为，将网络深度视为连续变量。
• 将残差块的更新建模为随机微分方程（SDEs）的离散时间近似，使用伊藤微积分进行形式推导。
• 考虑能导致连续极限下定义良好的扩散过程的参数初始化方案，以确保稳定性。
• 应用SDE理论来表征网络输出分布和输入依赖性的极限行为。
• 使用福克-普朗克方程分析连续极限下隐藏状态概率密度的时间演化。
• 证明在适当条件下，网络动态收敛至非退化的扩散过程，避免退化为常数函数。

实验结果

研究问题

• RQ1 在标准初始化方案下，无限深度残差网络的行为在极限情况下会如何？
• RQ2 无限深度残差网络的动力学能否由连续时间随机过程描述？
• RQ3 基于SDE的残差网络极限是否能避免有限深度网络中观察到的梯度消失和对常数函数的集中现象？
• RQ4 哪些初始化和网络架构条件可确保收敛至行为良好的扩散过程？
• RQ5 与有限深度对应结构相比，网络在SDE极限下的功能表达能力如何变化？

主要发现

• 在适当的初始化下，无限深度残差网络收敛至随机微分方程的解，避免了退化行为。
• 极限SDE表现出非退化、非恒定的行为，确保网络对输入保持有意义的依赖性。
• 网络的输出分布按照福克-普朗克方程演化，表征了隐藏状态概率密度的时间依赖性。
• SDE极限确保即使深度无限增加，网络也不会退化为常数函数。
• 与SDE的联系为非常深网络的增强表达能力和稳定性提供了理论解释。
• 该框架揭示了标准初始化方案在有限深度下可能导致病态行为，但在无限深度极限下通过SDE收敛得以稳定。