[论文解读] Object-centric Forward Modeling for Model Predictive Control

Yufei Ye, Dhiraj Gandhi+2 more|arXiv (Cornell University)|Oct 8, 2019

Reinforcement Learning in Robotics参考文献 33被引用 6

一句话总结

本文提出一种以对象为中心的前向模型，将场景表示为具有隐式视觉特征的空间定位对象，从而实现对动作效应和交互作用的精确预测。通过在模型预测控制中结合校正模块，利用这种结构化表示，该方法在仿真和真实世界机器人操作任务中实现了样本高效、鲁棒的远距离目标规划，优于基于像素空间和隐式表示的基线模型。

ABSTRACT

We present an approach to learn an object-centric forward model, and show that this allows us to plan for sequences of actions to achieve distant desired goals. We propose to model a scene as a collection of objects, each with an explicit spatial location and implicit visual feature, and learn to model the effects of actions using random interaction data. Our model allows capturing the robot-object and object-object interactions, and leads to more sample-efficient and accurate predictions. We show that this learned model can be leveraged to search for action sequences that lead to desired goal configurations, and that in conjunction with a learned correction module, this allows for robust closed loop execution. We present experiments both in simulation and the real world, and show that our approach improves over alternate implicit or pixel-space forward models. Please see our project page (https://judyye.github.io/ocmpc/) for result videos.

研究动机与目标

• 开发一种前向模型，以结构化、以对象为中心的表示方式捕捉对象交互作用和动作效应，用于长时程机器人规划。
• 在基于像素空间或隐式表示的前向模型基础上，提升样本效率和预测准确性。
• 通过集成一个利用实时观测数据对预测进行精炼的可学习校正模块，实现鲁棒的闭环控制。
• 在仿真和真实世界机器人操作环境中，验证该方法的泛化能力。
• 通过从随机交互数据中学习交互感知的、结构化的世界表示，减少对完美动力学模型的依赖。

提出的方法

• 将场景表示为具有显式空间位置和隐式视觉特征的对象集合，实现对对象动力学的结构化建模。
• 使用图神经网络建模机器人与对象之间以及对象之间的相互作用，训练前向模型以预测动作作用下对象状态（位置和特征）的变化。
• 采用带交叉熵方法（CEM）的模型预测控制（MPC），搜索能够达到目标配置的动作序列。
• 集成一个校正模块，利用中间观测数据重新估计对象状态，实现闭环执行和误差校正。
• 利用随机交互数据进行自监督训练，避免对精确真实动力学数据的依赖。
• 使用前向模型展开预测 T 步，以模拟长时程动作序列。

实验结果

研究问题

• RQ1 与基于像素空间或隐式表示的模型相比，以对象为中心的前向模型是否能提升长时程规划的准确性？
• RQ2 建模对象交互作用在机器人操作任务中如何提升预测准确性和样本效率？
• RQ3 在模型存在不准确的情况下，可学习的校正模块在闭环执行中能多大程度上提升鲁棒性？
• RQ4 该方法在具有复杂对象交互和大动作位移的现实世界环境中是否具备泛化能力？
• RQ5 以对象为中心表示的结构化归纳偏置相较于端到端的像素建模，如何支持更好的泛化能力？

主要发现

• 所提出的以对象为中心的前向模型在长时程规划中优于基于像素空间和隐式表示的基线模型，尤其在需要对象交互和碰撞意识的场景中表现更优。
• 消融实验表明，若移除交互网络，初始进展更快但长期性能更差，证实了建模交互作用的重要性。
• 校正模块显著减少了预测误差的累积，当使用中间观测时，10步展开预测中的误差最高可降低50%。
• 可视化结果表明，模型能够学习非贪婪、避碰的轨迹规划，例如将一个物体绕过另一个物体，而简单模型则无法捕捉此类行为。
• 在真实世界实验中，基于流的基线模型无法预测大位移运动，而所提模型由于引入了交互建模，能准确预测物体运动。
• 基于CEM的规划器在迭代过程中收敛至最优轨迹，精英动作序列清晰地避开障碍物并成功达成目标。