[论文解读] Uncertainty Quantification in Deep Learning through Stochastic Maximum Principle.

Richard Archibald, Feng Bao+2 more|arXiv (Cornell University)|Nov 28, 2020

Stochastic Gradient Optimization Techniques参考文献 2被引用 4

一句话总结

本文提出了一种基于随机最优控制理论的随机神经网络框架，利用随机最大值原理推导出一种高效的随机梯度下降算法。该方法在理论收敛性保证和实际应用验证的基础上，实现了深度学习中的不确定性量化。

ABSTRACT

We develop a probabilistic machine learning method, which formulates a class of stochastic neural networks by a stochastic optimal control problem. An efficient stochastic gradient descent algorithm is introduced under the stochastic maximum principle framework. Convergence analysis for stochastic gradient descent optimization and numerical experiments for applications of stochastic neural networks are carried out to validate our methodology in both theory and performance.

研究动机与目标

• 为解决深度学习模型中的不确定性量化挑战。
• 将深度学习形式化为随机最优控制问题，以实现系统化的不确定性估计。
• 基于随机最大值原理，开发一种高效的优化算法。
• 为所提出的随机梯度下降方法建立理论收敛性。
• 通过真实世界应用的数值实验验证该方法。

提出的方法

• 该方法将深度神经网络形式化为随机最优控制问题，以在模型参数中嵌入不确定性。
• 应用随机最大值原理推导最优性必要条件，从而支持基于梯度的训练。
• 基于推导出的最优性条件，设计一种高效的随机梯度下降算法。
• 该框架支持端到端训练，实现具有不确定性感知的参数更新。
• 在标准随机控制假设下，开展理论收敛性分析。
• 通过数值实验评估性能与不确定性校准效果。

实验结果

研究问题

• RQ1 如何系统地将深度学习模型形式化为随机最优控制问题，以实现不确定性量化？
• RQ2 能否从随机最大值原理中推导出一种高效的优化算法，用于训练此类模型？
• RQ3 在标准假设下，所提出的随机梯度下降方法是否具有收敛性？
• RQ4 与基线不确定性量化技术相比，该方法在实际应用中的表现如何？
• RQ5 该框架能否在真实世界深度学习任务中有效应用，并提供可靠的不确定性估计？

主要发现

• 所提出的随机神经网络框架通过随机最优控制，成功地将不确定性量化整合到深度学习中。
• 基于随机最大值原理推导出的随机梯度下降算法展现出理论收敛性。
• 数值实验证实，该方法在实际应用中能提供可靠且有效的不确定性估计。
• 该方法为现有深度学习不确定性量化方法提供了一种系统化的替代方案。
• 该框架支持具有不确定性感知的端到端训练，提升了模型鲁棒性。
• 实证结果表明，该方法在不确定性校准和预测准确性方面表现具有竞争力。