[论文解读] Trust-PCL: An Off-Policy Trust Region Method for Continuous Control

Ofir Nachum, Mohammad Norouzi+2 more|arXiv (Cornell University)|Jul 6, 2017

Reinforcement Learning in Robotics参考文献 27被引用 31

一句话总结

Trust-PCL 是一种离策略信任区域强化学习算法，通过相对熵正则化稳定策略优化，同时实现离策略数据的高效重用。通过在带熵正则化的最大奖励目标中强制实现路径一致性，Trust-PCL 在样本效率和最终性能方面优于 TRPO，在连续控制基准测试中达到或超越当前最先进水平。

ABSTRACT

Trust region methods, such as TRPO, are often used to stabilize policy optimization algorithms in reinforcement learning (RL). While current trust region strategies are effective for continuous control, they typically require a prohibitively large amount of on-policy interaction with the environment. To address this problem, we propose an off-policy trust region method, Trust-PCL. The algorithm is the result of observing that the optimal policy and state values of a maximum reward objective with a relative-entropy regularizer satisfy a set of multi-step pathwise consistencies along any path. Thus, Trust-PCL is able to maintain optimization stability while exploiting off-policy data to improve sample efficiency. When evaluated on a number of continuous control tasks, Trust-PCL improves the solution quality and sample efficiency of TRPO.

研究动机与目标

• 解决如 TRPO 等同策略信任区域方法存在的样本效率低下问题，这些方法需要大量环境交互。
• 通过引入相对熵正则化器，稳定连续控制中的离策略策略优化，以维持信任区域约束。
• 在不牺牲优化稳定性或收敛性的前提下，使信任区域算法能够使用离策略数据。
• 通过自动缩放熵正则化系数，使方法对奖励尺度保持不变，从而实现超参数鲁棒性。
• 在标准连续控制环境中，实现与 TRPO 相当或更优的性能，同时显著提升样本效率。

提出的方法

• 在最大奖励目标中引入相对熵正则化器，将其转化为保持信任区域特性的约束优化问题。
• 利用熵正则化下最优策略与价值函数的路径一致性特性，使训练中可同时使用同策略与离策略数据。
• 将 Trust-PCL 制定为一种演员-评论家算法，通过从经验回放缓冲区收集的离策略经验，交替更新策略与价值函数。
• 采用基于当前策略与目标策略之间相对熵的信任区域约束，确保策略更新的稳定性。
• 通过缩放机制自动确定正则化系数，使方法对奖励幅度保持不变，降低超参数敏感性。
• 实现一种简单且可扩展的训练流程，在保持 TRPO 稳定性的同时，支持高效的离策略学习。

实验结果

研究问题

• RQ1 信任区域原则能否在不牺牲优化稳定性的前提下，扩展到连续控制中的离策略深度强化学习？
• RQ2 相对熵正则化如何用于在离策略轨迹上保持策略与价值函数的路径一致性？
• RQ3 在保持 TRPO 高性能的同时，离策略数据重用在信任区域方法中能在多大程度上提升样本效率？
• RQ4 正则化系数能否自动调节以对奖励尺度保持不变，从而降低超参数敏感性？
• RQ5 Trust-PCL 在标准连续控制基准测试中是否在最终性能与样本效率方面均优于 TRPO？

主要发现

• 在 HalfCheetah 上，Trust-PCL 达到 7057.1 的最终平均回报，超过 TRPO（4343.6），并匹配或超越当前最先进结果。
• 在 Walker2d 上，Trust-PCL 达到 5027.2 的平均回报，显著优于 TRPO（2838.4），表现出更强的样本效率。
• 在 Ant 上，Trust-PCL 达到 6104.2 的平均回报，超过 TRPO（4347.5）与 IPG（4415），表明在复杂任务中表现优异。
• Trust-PCL 通过离策略训练实现具有竞争力的性能，所需环境交互次数远少于同策略变体，显著提升样本效率。
• 该方法在所有评估环境中均保持稳定有效，对探索超参数 τ 的敏感性极低，即使在 τ=0 时仍表现良好。
• 超参数消融实验表明，信任区域大小 ε 至关重要——更大的 ε 会导致不稳定，证实了在离策略设置中信任区域约束的必要性。