[论文解读] Symmetry Learning for Function Approximation in Reinforcement Learning

Anuj Mahajan, Theja Tulabandhula|arXiv (Cornell University)|Jun 9, 2017

Reinforcement Learning in Robotics参考文献 20被引用 9

一句话总结

本文提出了一种用于深度强化学习中函数逼近的对称性学习框架，通过分析轨迹奖励序列检测状态-动作对称性，并利用对称性损失将其融入学习过程，从而提升样本效率。该方法证明了其相似性度量的完备性，并在网格世界（Grid World）和Cart-Pole环境中展示了显著的性能提升，尤其是在状态空间维度增加时，结合基于潜在奖励的奖励塑造方法效果更佳。

ABSTRACT

In this paper we explore methods to exploit symmetries for ensuring sample efficiency in reinforcement learning (RL), this problem deserves ever increasing attention with the recent advances in the use of deep networks for complex RL tasks which require large amount of training data. We introduce a novel method to detect symmetries using reward trails observed during episodic experience and prove its completeness. We also provide a framework to incorporate the discovered symmetries for functional approximation. Finally we show that the use of potential based reward shaping is especially effective for our symmetry exploitation mechanism. Experiments on various classical problems show that our method improves the learning performance significantly by utilizing symmetry information.

研究动机与目标

• 通过利用环境中的对称性，提升深度强化学习中的样本效率。
• 开发一种方法，能够从轨迹经验中自动发现对称性，而无需预先了解环境结构。
• 通过一种对称性损失，将检测到的对称性整合到函数逼近中，以促进学习对称策略。
• 证明将对称性检测与基于潜在奖励的奖励塑造相结合，可实现鲁棒的相似性估计并减少数据结构大小。
• 在经典控制任务上验证该方法，并展示其在状态空间维度增加时的可扩展性。

提出的方法

• 通过分析轨迹经验中观察到的奖励序列来检测对称性，采用基于奖励轨迹频率的相似性度量。
• 提出一种耦合论证，证明在初始状态均匀分布和对称策略执行条件下，该相似性度量的完备性。
• 在学习目标中引入对称性损失，以鼓励在等价状态-动作对之间学习对称策略。
• 使用基于潜在奖励的奖励塑造方法，以增强相似性估计并减少对称性检测所需的数据结构大小。
• 将该框架应用于深度Q网络及其他函数逼近器，实现在计算开销极小的前提下，对称性信息的可扩展集成。
• 以MDP同态作为理论基础，形式化定义状态-动作对之间的对称关系。

实验结果

研究问题

• RQ1 是否能够从轨迹奖励观测中自动发现强化学习环境中的对称性？
• RQ2 所提出的用于状态-动作对的相似性度量，在对称策略执行下是否能完备地识别对称转移？
• RQ3 通过引入对称性损失来整合检测到的对称性，如何提升深度函数逼近中的样本效率？
• RQ4 基于潜在奖励的奖励塑造在多大程度上增强了对称性检测的鲁棒性与效率？
• RQ5 在网格世界等环境中，对称性利用在状态空间维度增加时的可扩展性如何？

主要发现

• 所提出的对称性检测方法具备完备性，通过耦合论证证明：在对称策略执行下，对称状态-动作对会产生完全相同的奖励序列。
• 该方法通过利用对称性信息，在网格世界和Cart-Pole环境中显著提升了学习性能，尤其在状态空间维度增加时效果更明显。
• 在网格世界中，该方法实现了更快的收敛速度和更高的样本效率，训练时间最多仅为基线的1.43倍。
• 在Cart-Pole中，该方法训练时间最多仅为基线的1.57倍，同时实现了更优的样本效率和性能表现。
• 潜在奖励塑造的集成显著减小了数据结构大小，并提升了相似性估计的鲁棒性，从而增强了对称性检测的准确性。
• 该框架在高维环境中表现出良好的可扩展性，其中对称性数量呈组合式增长（例如，在d维网格世界中为O(d!2^d)），从而带来显著的样本效率提升。