[论文解读] Visual Foresight Tree for Object Retrieval from Clutter with Nonprehensile Rearrangement

Baichuan Huang, Shuai D. Han+2 more|arXiv (Cornell University)|May 6, 2021

Robotics and Sensor-Based Localization参考文献 52被引用 4

一句话总结

本文提出视觉预见树（Visual Foresight Tree, VFT），一种基于模型的方法，利用深度神经网络预测机器人推动后物体的重新定位，从而在视觉预见的基础上进行高效树搜索，规划非抓取式推动序列，实现在杂乱环境中的物体检索。该方法在仿真和真实世界实验中均实现了比模型无关方法和短视模型方法更高的成功率和更少的动作次数。

ABSTRACT

This paper considers the problem of retrieving an object from a set of tightly packed objects by using a combination of robotic pushing and grasping actions. Object retrieval from confined spaces that contain clutter is an important skill for robots in order to effectively operate in households and everyday environments. The proposed solution, Visual Foresight Tree (VFT), cleverly rearranges the clutter surrounding the target object so that it can be grasped easily. Rearrangement with nested non-prehensile actions is challenging as it requires predicting complex object interactions in a combinatorially large configuration space of multiple objects. We first show that a deep neural network can be trained to accurately predict the poses of the packed objects when the robot pushes one of them. The predictive network provides visual foresight and is used in a tree search as a state transition function in the space of scene images. The tree search returns a sequence of consecutive push actions that result in the best arrangement of the clutter for grasping the target object. Experiments in simulation and using a real robot and objects show that the proposed approach outperforms model-free techniques as well as model-based myopic methods both in terms of success rates and the number of executed actions, on several challenging tasks. A video introducing VFT, with robot experiments, is accessible at this https URL. Full source code will also be made available upon publication of this manuscript.

研究动机与目标

• 为解决在家庭环境中从紧密堆积的杂乱物体中检索目标物体的挑战。
• 克服在高维、组合复杂的状态空间中规划非抓取式重排的困难。
• 通过利用视觉预见实现长时程规划，提升物体检索的成功率并减少动作数量。
• 开发一种能够通过学习的视觉预测与基于搜索的规划，在多样化杂乱场景中实现良好泛化的方法。

提出的方法

• 训练一个深度神经网络，以预测在单次推动动作后，杂乱场景中物体的新位姿。
• 训练好的网络作为视觉预见模型，从场景图像到未来场景图像提供状态转移预测。
• 树搜索算法利用视觉预见模型模拟推动动作序列并评估其结果。
• 搜索在基于图像的场景状态空间中进行，以寻找最优的推动序列，使目标物体被重新定位至可抓取位置。
• 该方法将学习到的动力学与符号化树搜索相结合，实现在无需显式世界模型的情况下进行长时程规划。
• 该方法在仿真和真实机器人上均进行了评估，展示了对真实世界动态和视觉噪声的鲁棒性。

实验结果

研究问题

• RQ1 深度神经网络能否在杂乱物体排列中准确预测单次推动的结果？
• RQ2 与模型无关的强化学习相比，基于视觉预见的树搜索在复杂物体检索任务中的成功率和样本效率如何？
• RQ3 使用视觉预见的基于模型的规划器是否能在复杂、高维的重排任务中超越短视的基于模型方法？
• RQ4 该方法在多样化杂乱场景和物体构型中的泛化能力如何？

主要发现

• 视觉预见网络在杂乱场景中对推动后物体重新定位的预测具有高准确性。
• VFT方法在成功率和所需动作数量方面显著优于模型无关的强化学习基线方法。
• 与短视的基于模型方法相比，该方法在复杂、紧密堆积的构型中实现了更高的成功率。
• 该方法在真实世界场景中表现出良好的泛化能力，在物理机器人上仅需极少的领域随机化即可实现稳健性能。