[论文解读] PGDOT -- Perturbed Gradient Descent Adapted with Occupation Time

Xin Guo, Jiequn Han+2 more|arXiv (Cornell University)|May 9, 2020

Neural Networks and Applications参考文献 60被引用 4

一句话总结

本文提出PGDOT，一种扰动梯度下降算法，通过利用访问时间自适应调整扰动，以加速收敛并逃离鞍点。在训练多层感知机（MLP）时，其性能优于Adam和RMSProp等标准优化器，特别是在逃离鞍点方面表现更优，并且在理论上保证了至少与PGD同等的收敛速度。

ABSTRACT

This paper develops further the idea of perturbed gradient descent (PGD), by adapting perturbation with the history of states via the notion of occupation time. The proposed algorithm, perturbed gradient descent adapted with occupation time (PGDOT), is shown to converge at least as fast as the PGD algorithm and is guaranteed to avoid getting stuck at saddle points. The analysis is corroborated by empirical studies, in which a mini-batch version of PGDOT is shown to outperform alternatives such as mini-batch gradient descent, Adam, AMSGrad, and RMSProp in training multilayer perceptrons (MLPs). In particular, the mini-batch PGDOT manages to escape saddle points whereas these alternatives fail.

研究动机与目标

• 解决标准优化方法在深度学习训练过程中难以逃离鞍点的局限性。
• 通过引入历史状态信息，提升扰动梯度下降的收敛速度。
• 开发一种理论基础坚实的优化算法，更有效地避免局部极小值和鞍点。
• 通过实证验证所提出方法相较于Adam和RMSProp等流行自适应优化器的优越性。

提出的方法

• 引入访问时间作为衡量优化过程中某一状态被访问时长的指标。
• 根据当前状态的累积访问时间，自适应调整梯度下降中的扰动幅度。
• 修改更新规则，引入随时间自适应的扰动项，当状态被频繁访问时增大扰动。
• 理论分析表明，PGDOT的收敛速度至少与PGD相当，并在温和条件下可避免鞍点。
• 为实际深度神经网络训练，开发了PGDOT的随机小批量版本。
• 在多层感知机上对随机小批量PGDOT进行实证评估，以与基线优化器进行比较。

实验结果

研究问题

• RQ1 访问时间能否有效用于自适应调整梯度下降中的扰动，以改善优化动态？
• RQ2 在深度学习设置下，PGDOT是否比PGD及其他标准优化器收敛更快？
• RQ3 PGDOT能否在Adam、RMSProp等方法失效的情况下，可靠地逃离鞍点？
• RQ4 与自适应优化器相比，PGDOT的随机小批量版本在标准MLP基准测试中的表现如何？

主要发现

• PGDOT的收敛速度至少与PGD相当，并且在收敛速度上具有理论保证。
• PGDOT被证明可避免陷入鞍点，这是许多标准优化器的关键缺陷。
• 在实证评估中，随机小批量PGDOT在多层感知机训练中优于随机小批量梯度下降、Adam、AMSGrad和RMSProp。
• 在训练过程中，随机小批量PGDOT成功逃离了鞍点，而Adam、RMSProp等方法则未能实现。
• 利用访问时间可实现自适应扰动，从而在不损害收敛性的情况下提升探索能力。
• 该算法在深度学习优化任务中表现出鲁棒性和高效性，尤其在非凸设置下表现突出。