[论文解读] Understanding the impact of entropy in policy learning

Zafarali Ahmed, Nicolas Le Roux+2 more|arXiv (Cornell University)|Nov 27, 2018

Reinforcement Learning in Robotics被引用 3

一句话总结

本文通过使用基于梯度的扰动分析损失景观的几何结构，研究了熵正则化在强化学习策略优化中的影响。结果表明，更高的熵可使优化景观更加平滑，降低局部极小值之间的连接性，并支持更大的学习率——确立了熵作为关键正则化项，可提升训练稳定性和收敛性。

ABSTRACT

Entropy regularization is commonly used to improve policy optimization in reinforcement learning. It is believed to help with \emph{exploration} by encouraging the selection of more stochastic policies. In this work, we analyze this claim using new visualizations of the optimization landscape based on randomly perturbing the loss function. We first show that even with access to the exact gradient, policy optimization is difficult due to the geometry of the objective function. Then, we qualitatively show that in some environments, a policy with higher entropy can make the optimization landscape smoother, thereby connecting local optima and enabling the use of larger learning rates. This paper presents new tools for understanding the optimization landscape, shows that policy entropy serves as a regularizer, and highlights the challenge of designing general-purpose policy optimization algorithms.

研究动机与目标

• 探究熵在策略优化中的作用，超越单纯的探索机制。
• 利用扰动梯度分析策略优化景观的几何结构。
• 确定熵正则化是否通过平滑损失表面来改善优化过程。
• 开发用于可视化和理解策略梯度优化动态的工具。
• 挑战并完善传统将熵视为单一探索机制的理解。

提出的方法

• 作者提出一种基于策略梯度随机扰动的新型可视化技术，用于绘制损失景观。
• 分析在不同熵水平下局部极小值的曲率与连接性。
• 利用基于梯度的扰动评估熵对目标函数平滑性的影响。
• 比较不同熵水平下优化轨迹与收敛行为。
• 该方法可实现对熵如何影响损失表面几何结构的定性与定量评估。

实验结果

研究问题

• RQ1 熵正则化如何影响策略优化景观的几何结构？
• RQ2 更高的熵是否导致更平滑、更连通的损失表面，从而促进优化？
• RQ3 熵正则化是否通过降低损失景观的尖锐性，使更大学习率成为可能？
• RQ4 熵在策略学习中的主要优势是否源于优化动力学的改善，而非探索能力的提升？
• RQ5 熵在在多大程度上通过平滑目标函数作为正则化手段？

主要发现

• 熵正则化使策略优化景观更加平滑，降低尖锐性，并增强局部极小值之间的连接性。
• 即使使用精确梯度，策略优化仍因目标函数固有的几何复杂性而困难。
• 高熵策略通过缓解优化不稳定性，使更大学习率成为可能。
• 熵带来的改进并非仅源于探索，而是源于损失表面有利的几何特性。
• 熵通过简化优化景观，使其更易于被基于梯度的方法处理，从而发挥正则化作用。
• 所提出的可视化方法揭示了策略优化中此前隐藏的结构特性，使训练动态的深入分析成为可能。