[论文解读] Sample Efficient Path Integral Control under Uncertainty

Yunpeng Pan, Evangelos A. Theodorou+1 more|arXiv (Cornell University)|Sep 6, 2015

Model Reduction and Neural Networks参考文献 25被引用 15

一句话总结

本文提出了一种样本高效、基于模型的路径积分控制框架，通过利用概率动力学模型和前向-后向优化方案，在无需策略参数化的情况下解析计算最优控制律。该方法通过控制器组合性实现了卓越的样本效率和泛化能力，在机器人控制任务中，其样本效率和计算效率均优于当前最先进方法。

ABSTRACT

We present a data-driven optimal control framework that can be viewed as a generalization of the path integral (PI) control approach. We find iterative feedback control laws without parameterization based on probabilistic representation of learned dynamics model. The proposed algorithm operates in a forward-backward manner which differentiate from other PI-related methods that perform forward sampling to find optimal controls. Our method uses significantly less samples to find optimal controls compared to other approaches within the PI control family that relies on extensive sampling from given dynamics models or trials on physical systems in model-free fashions. In addition, the learned controllers can be generalized to new tasks without re-sampling based on the compositionality theory for the linearly-solvable optimal control framework. We provide experimental results on three different systems and comparisons with state-of-the-art model-based methods to demonstrate the efficiency and generalizability of the proposed framework.

研究动机与目标

• 解决现有路径积分控制方法依赖大量前向采样或物理试验所导致的样本效率低下问题。
• 克服基于模型控制中策略参数化的局限性，后者限制了解空间并阻碍泛化能力。
• 在可线性求解的最优控制框架中，通过组合性实现学习控制器向新任务的泛化，而无需重新采样。
• 将动力学模型中的不确定性量化整合到控制代价公式中，根据噪声水平动态调整控制权重。
• 开发一种与标准前向采样PI方法不同的前向-后向算法结构，提升收敛速度和效率。

提出的方法

• 使用高斯过程回归从少量数据样本中学习被动动力学（漂移项），提供系统不确定性的概率表示。
• 采用前向-后向优化方案：首先对学习到的动力学进行确定性近似推理，然后通过求解Chapman-Kolmogorov PDE的后向问题计算最优控制律。
• 通过利用线性可求解最优控制框架中后向PDE的线性性质，无需策略参数化即可推导出解析控制律。
• 根据学习到的动力学模型的不确定性，动态调整控制代价权重，建立控制代价与系统噪声之间的结构约束。
• 采用复合控制器构建规则（公式18），通过加权平均各学习控制器的性能，实现对新任务的零样本泛化。
• 在每个时间步进行在线重优化，实现快速适应，并在学习过程中提升样本效率。

实验结果

研究问题

• RQ1 路径积分控制方法能否通过避免大量前向采样或物理滚动，实现高样本效率？
• RQ2 在不确定动力学环境下，能否在不预先参数化策略的情况下，解析推导出最优控制律？
• RQ3 如何在不重新采样的前提下，将学习到的控制器泛化到新任务？实现此类泛化的条件是什么？
• RQ4 将动力学模型中的不确定性整合到控制代价公式中，是否能提升鲁棒性和性能？
• RQ5 与标准前向采样PI方法相比，所提出的前向-后向方案在样本效率和计算效率方面表现如何？

主要发现

• 在倒立摆和双摆任务中，该方法在显著更少的样本下，实现了比PILCO和PDDP更低的终端状态代价（ΨT），证明了其卓越的样本效率。
• 在倒立摆摆动提升任务中，该方法在10次以内试验内达到基线性能，而PILCO和PDDP需要超过20次试验才能实现相当性能。
• 由于采用全局优化，每次试验的计算时间高于PDDP，但仍在合理范围内，且收敛到最优性能的速度快于采样密集型方法。
• 由7个独立学习的控制器构建的复合控制器，其可取值分数与重新优化控制器的分数相差在5%以内，证明了在任务间实现有效零样本泛化的可行性。
• 该方法通过避免大规模非线性优化，在计算效率上优于PILCO，同时保持了与当前最先进基于模型强化学习方法相当的样本效率。
• 该框架支持在每个时间步进行在线重优化，显著提升了样本效率，并加快了收敛速度，相比无此机制的方法优势明显。