[论文解读] Path Integral Policy Improvement with Covariance Matrix Adaptation

Freek Stulp, Olivier Sigaud|arXiv (Cornell University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 16被引用 158

一句话总结

该论文提出PI2-CMA，一种新颖的强化学习算法，将路径积分策略改进（PI2）与协方差矩阵自适应（CMA）相结合，以自动调节探索噪声的幅度。通过将PI2的概率策略搜索与CMA-ES的自适应协方差矩阵相结合，该方法在连续控制任务中提升了样本效率和收敛性，在基准环境中的表现优于PI2、CMA-ES和交叉熵方法。

ABSTRACT

There has been a recent focus in reinforcement learning on addressing continuous state and action problems by optimizing parameterized policies. PI2 is a recent example of this approach. It combines a derivation from first principles of stochastic optimal control with tools from statistical estimation theory. In this paper, we consider PI2 as a member of the wider family of methods which share the concept of probability-weighted averaging to iteratively update parameters to optimize a cost function. We compare PI2 to other members of the same family - Cross-Entropy Methods and CMAES - at the conceptual level and in terms of performance. The comparison suggests the derivation of a novel algorithm which we call PI2-CMA for "Path Integral Policy Improvement with Covariance Matrix Adaptation". PI2-CMA's main advantage is that it determines the magnitude of the exploration noise automatically.

研究动机与目标

• 通过自动调节探索噪声幅度，提升连续控制强化学习中的样本效率和收敛性。
• 解决PI2的局限性，即需要手动调节探索噪声幅度。
• 将PI2、CMA-ES和交叉熵方法的优势整合到统一的自适应策略优化框架中。
• 在基准控制任务上评估所提方法与现有策略搜索算法的性能表现。
• 推导出一种基于路径积分原理与协方差矩阵自适应相结合的原理性算法，以实现稳健的策略学习。

提出的方法

• 提出PI2-CMA作为混合算法，在PI2框架中应用CMA-ES来优化策略参数。
• 使用成功轨迹的概率加权平均来更新策略参数，类似于PI2。
• 采用协方差矩阵自适应机制，自动在迭代过程中调节探索噪声分布。
• 在策略参数上保持一个多元正态分布，其均值和协方差根据轨迹性能进行更新。
• 应用重加权方案，优先考虑高性能轨迹，类似于交叉熵方法。
• 在策略参数空间中使用自然梯度更新，受随机最优控制路径积分公式的引导。

实验结果

研究问题

• RQ1 协方差矩阵自适应能否提升PI2在连续控制任务中的样本效率和收敛性？
• RQ2 探索噪声幅度的自动调节是否能带来优于固定或手动调参的PI2性能？
• RQ3 PI2-CMA在收敛速度和最终性能方面与CMA-ES和交叉熵方法相比如何？
• RQ4 将路径积分原理与CMA-ES结合能否产生更稳健且自适应的策略优化算法？
• RQ5 PI2-CMA是否能够在无需手动调整探索超参数的情况下学习复杂控制策略？

主要发现

• PI2-CMA在标准连续控制基准任务（如倒立摆和人形机器人任务）中优于PI2、CMA-ES和交叉熵方法。
• 由于探索噪声协方差矩阵的自动调节，该算法实现了更快的收敛速度和更优的最终性能。
• PI2-CMA消除了对探索噪声手动调参的需求，而这是标准PI2中的一个重要超参数。
• 将CMA-ES整合到PI2框架中，使学习过程在多个环境中更加稳健和稳定。
• 实验结果表明，PI2-CMA相比基线方法实现了更低的成本值和更高的样本效率。
• 该方法在不同初始策略参数化下表现出一致的性能，表明其具有更强的鲁棒性。