[论文解读] Revisiting the Softmax Bellman Operator: New Benefits and New Perspective

Zhao Song, Ronald Parr+1 more|arXiv (Cornell University)|Dec 2, 2018

Reinforcement Learning in Robotics被引用 28

一句话总结

本文重新审视深度Q学习中的softmax Bellman算子，表明其尽管存在非压缩行为等理论缺陷，仍能减少过估计偏差并提升策略性能。论文证明了其以指数速度收敛至最优Bellman算子，并界定了与最优性的偏差，解释了为何在Atari环境中softmax优于标准DQN和Double DQN，且该优势与探索方式无关。

ABSTRACT

The impact of softmax on the value function itself in reinforcement learning (RL) is often viewed as problematic because it leads to sub-optimal value (or Q) functions and interferes with the contraction properties of the Bellman operator. Surprisingly, despite these concerns, and independent of its effect on exploration, the softmax Bellman operator when combined with Deep Q-learning, leads to Q-functions with superior policies in practice, even outperforming its double Q-learning counterpart. To better understand how and why this occurs, we revisit theoretical properties of the softmax Bellman operator, and prove that $(i)$ it converges to the standard Bellman operator exponentially fast in the inverse temperature parameter, and $(ii)$ the distance of its Q function from the optimal one can be bounded. These alone do not explain its superior performance, so we also show that the softmax operator can reduce the overestimation error, which may give some insight into why a sub-optimal operator leads to better performance in the presence of value function approximation. A comparison among different Bellman operators is then presented, showing the trade-offs when selecting them.

研究动机与目标

• 理解为何softmax Bellman算子在存在非压缩性等理论问题的情况下，仍能提升深度Q学习中的策略性能。
• 分析softmax算子的收敛特性及其与最优Bellman算子的偏差。
• 量化softmax算子在值函数近似中如何减少过估计偏差。
• 在收敛性、偏差和性能方面，比较softmax、max和mellowmax算子之间的权衡。
• 为将softmax作为减少过估计的替代方案（而非Double Q-learning）提供理论依据。

提出的方法

• 证明softmax Bellman算子在逆温度参数的倒数下，以指数速度收敛至标准Bellman算子。
• 建立基于softmax和标准Bellman算子的Q函数之间距离的上下界。
• 分析值函数近似中的过估计偏差，并推导出softmax算子相比max算子减少偏差的上下界。
• 采用与van Hasselt等人（2016a）相同的理论假设，证明对于任意逆温度参数，softmax算子均能减少过估计偏差。
• 通过近似误差和过估计误差等指标，比较softmax算子与mellowmax及max算子在不同温度参数下的表现。
• 在Atari游戏中通过DQN和Double DQN对方法进行实证评估，将目标网络中的max函数替换为softmax。

实验结果

研究问题

• RQ1 为何softmax Bellman算子在非压缩且值函数精度次优的情况下，仍能在深度Q学习中带来更优的策略？
• RQ2 随着逆温度参数的变化，softmax Bellman算子收敛至最优Bellman算子的速度如何？
• RQ3 softmax算子能否减少值函数近似中的过估计偏差？若能，减少幅度有多大？
• RQ4 在收敛性、偏差和性能方面，使用softmax、max和mellowmax算子之间的权衡是什么？
• RQ5 softmax算子带来的性能提升源于探索机制，还是源于算子本身的内在特性？

主要发现

• softmax Bellman算子在逆温度参数的倒数下，以指数速度收敛至最优Bellman算子。
• 通过softmax算子计算的Q函数与最优Q函数之间的偏差，存在上下界。
• softmax算子能减少值函数近似中的过估计偏差，且其减少量具有可证明的上下界。
• 在Atari游戏上的实证结果表明，将DQN和Double DQN中的max函数替换为softmax，可获得更高的测试得分和更低的梯度噪声。
• softmax算子带来的性能提升与探索方式无关，完全归因于其对值函数近似的影响。
• 与softmax相比，mellowmax算子能进一步降低过估计误差，但需付出额外的计算复杂度代价。