[论文解读] Policy Optimization as Wasserstein Gradient Flows

Ruiyi Zhang, Changyou Chen+2 more|arXiv (Cornell University)|Aug 9, 2018

Stochastic Gradient Optimization Techniques被引用 26

一句话总结

本文将强化学习中的策略优化表述为概率分布空间上的Wasserstein梯度流（WGF），通过基于粒子的数值近似实现策略分布的凸优化。与TRPO和DDPG等最先进算法相比，该方法在复杂MuJoCo环境中展现出更快的收敛速度和更优的样本效率。

ABSTRACT

Policy optimization is a core component of reinforcement learning (RL), and most existing RL methods directly optimize parameters of a policy based on maximizing the expected total reward, or its surrogate. Though often achieving encouraging empirical success, its underlying mathematical principle on {\em policy-distribution} optimization is unclear. We place policy optimization into the space of probability measures, and interpret it as Wasserstein gradient flows. On the probability-measure space, under specified circumstances, policy optimization becomes a convex problem in terms of distribution optimization. To make optimization feasible, we develop efficient algorithms by numerically solving the corresponding discrete gradient flows. Our technique is applicable to several RL settings, and is related to many state-of-the-art policy-optimization algorithms. Empirical results verify the effectiveness of our framework, often obtaining better performance compared to related algorithms.

研究动机与目标

• 为策略优化在概率测度空间中的梯度流提供严格的数学解释。
• 解决现有策略梯度方法中缺乏清晰的分布层面优化原则的问题。
• 开发一种在强化学习中求解Wasserstein梯度流的数值可行算法。
• 通过凸分布优化提升深度强化学习中的样本效率和收敛速度。
• 在Wasserstein几何框架下统一并推广现有的信任区域与策略优化方法。

提出的方法

• 本文将策略优化表述为在概率测度空间上的Wasserstein梯度流（WGF），其中能量泛函对应于期望累积奖励。
• 提出两种变体：在参数分布上进行间接策略学习，以及在策略分布上进行直接策略学习，二者均由WGF动力学支配。
• 应用JKO（Jordan-Kinderlehrer-Otto）格式对WGF问题进行离散化，通过粒子近似实现数值求解。
• 利用从Wasserstein度量推导出的闭式梯度公式更新粒子，确保优化过程高效且稳定。
• 通过Wasserstein距离引入类似信任区域的约束，促进策略更新的稳定性。
• 开发了一种基于粒子的算法，用于近似连续密度函数，从而在深度强化学习基准上实现实际应用。

实验结果

研究问题

• RQ1 强化学习中的策略优化能否被严格解释为在概率测度空间中的梯度流？
• RQ2 将策略学习表述为Wasserstein梯度流是否能导出凸优化问题，从而提升收敛性和稳定性？
• RQ3 基于粒子的数值方法能否有效近似连续的WGF动力学，以适用于实际的深度强化学习应用？
• RQ4 所提出的基于WGF的框架在样本效率和性能方面与TRPO和DDPG等最先进算法相比如何？
• RQ5 WGF框架能否在统一的几何框架下整合或推广现有的信任区域与策略优化方法？

主要发现

• IP-WGF在Cartpole Swing-Up、Double Pendulum和Cartpole任务中均比SVPG收敛更快且获得更高的平均奖励。
• DP-WGF-V在MuJoCo任务中表现出更高的样本效率和最终性能，优于SAC和TRPO-GAE，尤其在具有挑战性的Humanoid环境中优势显著。
• DP-WGF-V在所有MuJoCo任务中均优于DDPG和TRPO-GAE，且在Hopper和Walker任务上的样本效率提升达2–3倍。
• 方差减少变体DP-WGF-V在所有任务中均显著优于DP-WGF，验证了所提出正则化的有效性。
• 在Humanoid环境中，DDPG无法学习到良好策略，而DP-WGF-V实现了稳定且高性能的表现，凸显了该方法在高维控制任务中的鲁棒性。
• 实验结果证实，基于WGF的优化方法相比相关算法具有更快的收敛速度和更优的最终性能，验证了理论框架的有效性。