[论文解读] Policy Optimization via Importance Sampling

Alberto Maria Metelli, Matteo Papini+2 more|arXiv (Cornell University)|Sep 17, 2018

Reinforcement Learning in Robotics被引用 23

一句话总结

该论文提出POIS，一种新型无模型策略优化算法，通过引入高置信度界限的重要性采样，实现高效的离线策略改进。通过优化基于重要性加权轨迹的代理目标，POIS在连续控制任务中实现了最先进性能，适用于线性与深度神经网络策略，其在关键基准测试中优于TRPO和PPO等方法，同时保持了样本效率与稳定性。

ABSTRACT

Policy optimization is an effective reinforcement learning approach to solve continuous control tasks. Recent achievements have shown that alternating online and offline optimization is a successful choice for efficient trajectory reuse. However, deciding when to stop optimizing and collect new trajectories is non-trivial, as it requires to account for the variance of the objective function estimate. In this paper, we propose a novel, model-free, policy search algorithm, POIS, applicable in both action-based and parameter-based settings. We first derive a high-confidence bound for importance sampling estimation; then we define a surrogate objective function, which is optimized offline whenever a new batch of trajectories is collected. Finally, the algorithm is tested on a selection of continuous control tasks, with both linear and deep policies, and compared with state-of-the-art policy optimization methods.

研究动机与目标

• 解决在策略优化中高效重用离线轨迹的挑战，避免过度方差或不稳定性。
• 通过重要性采样控制行为策略与目标策略之间的距离，实现探索与利用的平衡。
• 通过在重要性采样估计中引入高置信度界限，提升离线策略学习的样本效率与收敛稳定性。
• 在基于动作与基于参数的策略搜索框架中均实现有效的离线优化。
• 通过原理严谨、方差受控的方法，在连续控制基准测试中超越现有最先进方法（如TRPO和PPO）

提出的方法

• 该方法在重要性采样估计上引入高置信度界限，以控制策略优化过程中的方差。
• 定义了一个代理目标函数，其中包含基于置信度界限推导出的Rényi散度惩罚项。
• POIS在收集新轨迹与使用批量数据执行多次离线优化步骤之间交替进行。
• 该算法支持基于动作的（A-POIS）与基于参数的（P-POIS）设置，后者采用自然梯度优化。
• 采用重要性采样进行梯度估计，A-POIS使用标准IS，P-POIS使用自归一化IS。
• 显著性水平δ控制置信度界限，从而影响基于离策略数据更新策略的激进程度。

实验结果

研究问题

• RQ1 对重要性采样引入高置信度界限是否能提升离线策略优化的稳定性与样本效率？
• RQ2 在离策略设置中，控制行为策略与目标策略之间的Rényi散度对学习性能有何影响？
• RQ3 POIS是否能在使用线性与深度神经网络策略的连续控制任务中，超越TRPO与PPO等成熟方法？
• RQ4 置信度水平δ对策略方差与离线策略优化学习动态有何影响？
• RQ5 使用具有方差控制的代理目标是否能带来更快收敛速度与更优最终性能？

主要发现

• 在Cart-Pole平衡任务中，A-POIS实现了4842.8 ± 13.0的累积回报，与TRPO和REINFORCE等最佳性能方法无统计学差异。
• 在Mountain Car环境中，A-POIS实现了-63.7 ± 0.5的回报，优于DDPG与TRPO，展现出更高的回报稳定性与更快的收敛速度。
• 在Swimmer任务中，P-POIS表现具有竞争力（88.7 ± 0.55），尽管略低于A-POIS与TRPO，表明IS估计器选择的重要性。
• δ的取值显著影响策略方差与收敛性：较小的δ值因对高Rényi散度施加更强惩罚，导致方差衰减更慢。
• 高置信度界限有效防止了优化过程在重要性采样方差较高时发散，尤其当δ = 1时，界限变得不可达，从而揭示了估计器的不确定性。
• POIS在五次运行中表现出一致性能，95%置信区间稳定，证实了其在多样化连续控制环境中的鲁棒性与可复现性。