[论文解读] Predicting Stable Configurations for Semantic Placement of Novel Objects

Chris Paxton, Chris Xie+2 more|arXiv (Cornell University)|Aug 26, 2021

Robot Manipulation and Learning参考文献 39被引用 10

一句话总结

本文提出了一种基于学习的框架，仅使用RGB-D传感即可使机器人在真实环境中语义化地放置新物体。通过在仿真中训练的关系分类器与场景真实感判别器相结合，系统无需在真实世界中微调即可规划出稳定且语义有意义的物体放置，实现在未见过的物体上的真实世界实验中取得高成功率。

ABSTRACT

Human environments contain numerous objects configured in a variety of arrangements. Our goal is to enable robots to repose previously unseen objects according to learned semantic relationships in novel environments. We break this problem down into two parts: (1) finding physically valid locations for the objects and (2) determining if those poses satisfy learned, high-level semantic relationships. We build our models and training from the ground up to be tightly integrated with our proposed planning algorithm for semantic placement of unknown objects. We train our models purely in simulation, with no fine-tuning needed for use in the real world. Our approach enables motion planning for semantic rearrangement of unknown objects in scenes with varying geometry from only RGB-D sensing. Our experiments through a set of simulated ablations demonstrate that using a relational classifier alone is not sufficient for reliable planning. We further demonstrate the ability of our planner to generate and execute diverse manipulation plans through a set of real-world experiments with a variety of objects.

研究动机与目标

• 使机器人仅使用RGB-D传感在非结构化的真实世界环境中对先前未见过的物体执行语义重排。
• 从数据中学习物体之间的高层语义关系，避免使用手工设计的规则分类器带来的偏差。
• 通过在仿真中训练的场景真实感判别器，确保物理上合理且无碰撞的物体放置。
• 通过在点云中采样物体位姿，将高层规划与低层运动控制解耦，从而可与最先进的运动规划器集成。
• 在无需真实世界微调的情况下，实现对新物体和多样化关系谓词的泛化。

提出的方法

• 系统使用在仿真RGB-D数据上训练的关系分类器，预测物体实例之间的语义谓词（例如‘靠近’、‘在…后面’、‘接触’）。
• 场景真实感判别器通过仅使用原始点云和分割掩码，区分物理上可能的物体位姿与无效位姿。
• 规划器在三维空间中采样物体位姿，并利用关系分类器和真实感判别器评估其有效性，以识别出符合目标的配置。
• 该方法与基于模型的运动规划（RRT-Connect）和抓取预测（来自[29]）集成，以生成可执行的操作规划。
• 物体位姿采样器基于期望的关系目标进行条件化，以加速规划并提高解的多样性。
• 所有模型均仅在仿真中训练，并直接部署于真实世界，无需真实世界微调。

实验结果

研究问题

• RQ1 基于学习的系统能否仅使用RGB-D输入，在真实场景中预测新未见过物体之间的语义关系？
• RQ2 在仿真中训练的场景真实感判别器是否相比仅使用关系预测，能显著提高语义放置规划的可靠性？
• RQ3 基于学习的关系与真实感模型的规划器能否为非结构化环境中的新物体生成多样且可执行的操作规划？
• RQ4 该系统在无需真实世界微调的情况下，对未见过的物体和复杂场景几何结构的泛化程度如何？
• RQ5 在真实世界部署中，学习的关系预测性能与手工设计的规则基线相比如何？

主要发现

• 系统在新物体规划中实现了95%的成功率，当抓取成功时，抓取成功率为75%，放置成功率为100%。
• 学习的关系分类器在敏感度方面优于规则基线，正确识别了更多有效的放置配置。
• 场景真实感判别器显著提升了规划的可靠性，表明仅靠语义预测不足以实现鲁棒操作。
• 该方法成功泛化至YCB数据集中的新物体和玩具厨房物体，包括小件或大件物体等具有挑战性的案例。
• 抓取失败是整体失败的主要原因，平均抓取成功率为56%，表明抓取策略鲁棒性仍有提升空间。
• 规划器在每幅场景中成功生成了多个有效解，展示了其多样性和对不同场景几何结构的适应能力。