[论文解读] On the Mathematical Understanding of ResNet with Feynman Path Integral

Minghao Yin, Xiu Li+2 more|arXiv (Cornell University)|Apr 16, 2019

Model Reduction and Neural Networks参考文献 8被引用 8

一句话总结

本文建立了残差网络（ResNet）与量子力学中费曼路径积分公式的数学等价性，表明残差块对应于偏微分方程（PDE）的解，且网络的前向传播等价于对所有可能路径按 $ e^{-S} $ 加权求和，其中 $ S $ 为作用量。该框架通过路径积分解释残差学习，阐明了ResNet的鲁棒性，并缓解了梯度消失问题。

ABSTRACT

In this paper, we aim to understand Residual Network (ResNet) in a scientifically sound way by providing a bridge between ResNet and Feynman path integral. In particular, we prove that the effect of residual block is equivalent to partial differential equation, and the ResNet transforming process can be equivalently converted to Feynman path integral. These conclusions greatly help us mathematically understand the advantage of ResNet in addressing the gradient vanishing issue. More importantly, our analyses offer a path integral view of ResNet, and demonstrate that the output of certain network can be obtained by adding contributions of all paths. Moreover, the contribution of each path is proportional to e^{-S}, where S is the action given by time integral of Lagrangian L. This lays the solid foundation in the understanding of ResNet, and provides insights in the future design of convolutional neural network architecture. Based on these results, we have designed the network using partial differential operators, which further validates our theoritical analyses.

研究动机与目标

• 为ResNet在深度学习中成功克服梯度消失问题提供严格的数学基础。
• 建立残差块与偏微分方程（PDE）解之间的正式等价性。
• 将ResNet的前向传播解释为对所有可能隐藏状态轨迹路径积分的求和，受量子力学启发。
• 通过一种新型基于PDE的神经网络架构（用PDE算子替代卷积核）验证理论框架。
• 通过理论与实证分析，展示残差块在权重扰动下的鲁棒性。

提出的方法

• 利用傅里叶变换，推导残差块与频域中一阶PDE之间的等价性。
• 证明ResNet的前向传播对应于路径积分公式，其中每条路径的贡献与 $ e^{-S} $ 成正比，$ S $ 为拉格朗日量的时间积分。
• 利用费曼路径积分公式，将残差学习过程重新解释为对所有可能隐藏状态转移路径的求和。
• 构建一种基于PDE的神经网络（PDE-Net），其中卷积核被二阶PDE算子替代，减少参数量同时保持性能。
• 将 $3\times3$ 卷积核分解为 $1\times3$ 和 $3\times1$ 卷积，以验证参数效率并确认其与PDE算子的等价性。
• 在CIFAR-10上进行实验，比较ResNet、PDE-Net及分解网络在权重扰动下的准确率与鲁棒性。

实验结果

研究问题

• RQ1 ResNet中的残差块能否被正式映射为偏微分方程的解？
• RQ2 ResNet的前向传播在数学上是否等价于对所有可能隐藏状态轨迹的费曼路径积分？
• RQ3 路径积分解释是否能够说明深度ResNets中训练稳定性的提升及梯度消失问题的缓解？
• RQ4 基于PDE算子的神经网络架构能否在减少参数量的同时实现与标准ResNets相当的性能？
• RQ5 与标准卷积神经网络相比，残差块结构在权重扰动下如何增强鲁棒性？

主要发现

• 残差块在频域中数学等价于一阶偏微分方程的解，其中残差连接充当时间演化算子。
• ResNet的前向传播等价于费曼路径积分，每条路径的贡献与 $ e^{-S} $ 成正比，$ S $ 为拉格朗日量的时间积分。
• 基于PDE的网络（PDE-Net）在CIFAR-10上达到与ResNet相当的测试准确率——50层网络准确率达93.21%，验证了理论等价性。
• 将卷积核分解为 $1\times3$ 和 $3\times1$ 卷积后，性能得以保持（50层网络准确率达94.02%），证实了PDE解释的有效性。
• 与标准CNN（如VGG-16）相比，ResNet在权重扰动下表现出显著更高的鲁棒性，准确率下降更缓慢，与 $ e^{-S} $ 加权路径积分模型一致。
• 该理论框架解释了跳跃连接为何能防止梯度消失：路径积分公式通过频域中的指数加权，确保了深层网络中信息的稳定流动。