[论文解读] Reinforcement Learning with Dynamic Boltzmann Softmax Updates

Ling Pan, Qingpeng Cai+4 more|arXiv (Cornell University)|Mar 14, 2019

Reinforcement Learning in Robotics参考文献 20被引用 4

一句话总结

本文提出动态玻尔兹曼Softmax（DBS）算子，通过使逆温度参数β随时间变化且与状态无关，解决了值函数估计中的收敛性问题。DBS确保值迭代和Q-learning的收敛性，且DBS-DQN在49款Atari游戏中有40款表现优于DQN，展现出更高的稳定性和性能。

ABSTRACT

Value function estimation is an important task in reinforcement learning, i.e., prediction. The Boltzmann softmax operator is a natural value estimator and can provide several benefits. However, it does not satisfy the non-expansion property, and its direct use may fail to converge even in value iteration. In this paper, we propose to update the value function with dynamic Boltzmann softmax (DBS) operator, which has good convergence property in the setting of planning and learning. Experimental results on GridWorld show that the DBS operator enables better estimation of the value function, which rectifies the convergence issue of the softmax operator. Finally, we propose the DBS-DQN algorithm by applying dynamic Boltzmann softmax updates in deep Q-network, which outperforms DQN substantially in 40 out of 49 Atari games.

研究动机与目标

• 解决标准玻尔兹曼Softmax因无法满足非扩张性而造成的收敛性缺失问题。
• 设计一种值函数更新机制，在确保收敛的同时维持探索与利用的平衡。
• 设计一种适用于表格型和深度强化学习设置的方法，尤其适用于深度Q网络。
• 通过减少过估计和梯度噪声，实现优于DQN和软Q-learning的性能。
• 确保该方法无需超参数调优，并支持双Q-learning。

提出的方法

• 提出动态玻尔兹曼Softmax（DBS）算子，其逆温度参数β随时间变化且逐渐增加，从而确保收敛性。
• 证明当βt → ∞时，足以实现值迭代中的收敛，纠正了固定β Softmax的非收敛问题。
• 为固定参数Softmax算子建立比以往工作更紧的误差界。
• 将DBS扩展至Q-learning，证明DBS-Q-learning算法的收敛性。
• 通过DBS-DQN将DBS集成至深度Q网络，利用高维状态空间中的函数逼近。
• 以保持贝尔曼最优性、实现过估计减少并直接表示策略的方式应用DBS算子。

实验结果

研究问题

• RQ1 时间可变的玻尔兹曼Softmax算子是否能在固定β Softmax失效的值函数估计中实现收敛？
• RQ2 DBS算子是否能提升GridWorld等表格型环境中的值函数估计准确性和稳定性？
• RQ3 DBS-DQN是否能在多样化的Atari 2600游戏中实现优于DQN的性能？
• RQ4 DBS算子是否能保持过估计减少和与双Q-learning兼容等理想特性？
• RQ5 DBS方法是否在无需超参数调优的情况下依然具备鲁棒性和有效性？

主要发现

• 在GridWorld中，DBS-Q-learning使用β = t²时表现最佳，优于Q-learning和软Q-learning。
• DBS算子通过时间可变的β满足非扩张性，确保值迭代和Q-learning的收敛性。
• DBS-DQN在49款Atari游戏中有40款表现优于DQN，尤其在Atlantis、Road Runner和Video Pinball等游戏中提升显著。
• 在Atari套件中，DBS-DQN在Atlantis游戏中相较DQN实现了高达3,768,100.0的相对人类归一化得分提升。
• DBS算子相比以往工作为固定参数Softmax建立了更紧的误差界，提升了理论保证。
• DBS-DQN在无需额外超参数调优的情况下保持了强劲性能，而其他基于Softmax的方法则需要。