[论文解读] Path Consistency Learning in Tsallis Entropy Regularized MDPs

Ofir Nachum, Yinlam Chow+1 more|arXiv (Cornell University)|Feb 10, 2018

Reinforcement Learning in Robotics参考文献 26被引用 9

一句话总结

本论文提出了一种稀疏路径一致性学习（sparse PCL）算法，这是一种新型的演员-评论家强化学习方法，适用于Tsallis熵正则化的马尔可夫决策过程，可诱导出稀疏策略——即仅对少数动作分配非零概率。通过推导多步稀疏一致性方程，并结合在线与离线数据，sparse PCL在大规模动作空间中相比soft PCL展现出更优性能，收敛至近确定性策略的速度更快，最终回报显著提升。

ABSTRACT

We study the sparse entropy-regularized reinforcement learning (ERL) problem in which the entropy term is a special form of the Tsallis entropy. The optimal policy of this formulation is sparse, i.e.,~at each state, it has non-zero probability for only a small number of actions. This addresses the main drawback of the standard Shannon entropy-regularized RL (soft ERL) formulation, in which the optimal policy is softmax, and thus, may assign a non-negligible probability mass to non-optimal actions. This problem is aggravated as the number of actions is increased. In this paper, we follow the work of Nachum et al. (2017) in the soft ERL setting, and propose a class of novel path consistency learning (PCL) algorithms, called {\em sparse PCL}, for the sparse ERL problem that can work with both on-policy and off-policy data. We first derive a {\em sparse consistency} equation that specifies a relationship between the optimal value function and policy of the sparse ERL along any system trajectory. Crucially, a weak form of the converse is also true, and we quantify the sub-optimality of a policy which satisfies sparse consistency, and show that as we increase the number of actions, this sub-optimality is better than that of the soft ERL optimal policy. We then use this result to derive the sparse PCL algorithms. We empirically compare sparse PCL with its soft counterpart, and show its advantage, especially in problems with a large number of actions.

研究动机与目标

• 解决标准Shannon熵正则化强化学习的局限性，即最优策略会为次优动作分配不可忽略的概率，尤其在大规模动作空间中表现明显。
• 通过使用Tsallis熵正则化而非Shannon熵，提出一种系统性方法以诱导最优策略的稀疏性。
• 将原本专为软（Shannon）熵设计的路径一致性学习（PCL）框架，拓展至稀疏（Tsallis）熵设置。
• 在稀疏设置下支持从在线与离线数据中学习，同时保持样本效率与训练稳定性。
• 通过实证结果证明，sparse PCL在最终回报与收敛速度方面均优于soft PCL，尤其在高维动作空间中表现更优。

提出的方法

• 推导出刻画Tsallis熵正则化MDP中最优价值函数与策略之间关系的多步稀疏一致性方程。
• 证明：虽然最优性蕴含稀疏一致性，但反之仅意味着次优性，且随着动作空间大小增加，次优性差距会减小。
• 设计sparse PCL算法，通过最小化基于稀疏一致性方程的损失函数，实现价值网络与策略网络的联合学习。
• 通过使用当前策略的子轨迹与经验回放缓冲区，同时支持在线与离线数据，提升数据利用效率。
• 采用神经网络进行函数逼近，以实现对高维状态与动作空间的可扩展性。
• 引入温度参数以控制策略的稀疏性，从而在探索与利用之间实现灵活权衡。

实验结果

研究问题

• RQ1 能否将类似PCL的一致性框架扩展至Tsallis熵正则化MDP，以实现稀疏策略？
• RQ2 在动作数量增加时，满足稀疏一致性条件的策略与最优策略相比，其次优性如何？
• RQ3 在大规模动作空间环境中，sparse PCL是否能实现优于soft PCL的最终性能与更快的收敛速度？
• RQ4 在经过粗粒度离散化处理的高维连续控制任务中，sparse PCL能否有效学习到近确定性策略？
• RQ5 sparse PCL相较于soft PCL的优势是否在不同类型任务中均具鲁棒性，包括算法类任务与连续控制基准任务？

主要发现

• 在动作空间规模逐渐增大的算法类任务中，sparse PCL表现优于soft PCL，且当|A|超过100后，性能差距进一步扩大。
• 当|A| = 3^6 = 729 与 |A| = 5^6 = 15,625 时，在离散化动作的HalfCheetah环境中，sparse PCL的平均回报显著高于soft PCL。
• sparse PCL收敛至近确定性策略的速度远快于soft PCL，平均而言，在100k步内，最可能动作的概率已超过0.95。
• soft PCL无法将概率质量集中于最优动作，即使在100万步后，最可能动作的平均概率仍低于0.75。
• 满足稀疏一致性的策略的理论次优性边界随动作空间增大而改善，因此在大规模动作空间中，其性能优于soft PCL的最优策略。
• 实证结果证实，soft PCL过度探索次优动作的倾向会严重损害长时Horizon任务的性能，而sparse PCL能有效缓解此问题。