[论文解读] ShapeStacks: Learning Vision-Based Physical Intuition for Generalised Object Stacking

Oliver Groth, Fabian B. Fuchs+2 more|arXiv (Cornell University)|Apr 21, 2018

Robot Manipulation and Learning参考文献 22被引用 4

一句话总结

本文提出ShapeStacks，一个基于仿真的20,000种多样化几何堆叠配置数据集，包含详细的物理稳定性标注。该研究提出一种基于视觉的深度学习模型，通过该数据集进行训练，能够仅从视觉输入预测结构稳定性，该模型在真实积木塔中具有泛化能力，并能通过学习直观的物理直觉和物体堆叠性实现主动堆叠，甚至通过配重平衡使原本不稳定的结构变得稳定。

ABSTRACT

Physical intuition is pivotal for intelligent agents to perform complex tasks. In this paper we investigate the passive acquisition of an intuitive understanding of physical principles as well as the active utilisation of this intuition in the context of generalised object stacking. To this end, we provide: a simulation-based dataset featuring 20,000 stack configurations composed of a variety of elementary geometric primitives richly annotated regarding semantics and structural stability. We train visual classifiers for binary stability prediction on the ShapeStacks data and scrutinise their learned physical intuition. Due to the richness of the training data our approach also generalises favourably to real-world scenarios achieving state-of-the-art stability prediction on a publicly available benchmark of block towers. We then leverage the physical intuition learned by our model to actively construct stable stacks and observe the emergence of an intuitive notion of stackability - an inherent object affordance - induced by the active stacking task. Our approach performs well even in challenging conditions where it considerably exceeds the stack height observed during training or in cases where initially unstable structures must be stabilised via counterbalancing.

研究动机与目标

• 研究智能体如何从视觉观察中被动习得物理直觉，并将其主动应用于操作任务。
• 开发一种可泛化的稳定性预测模型，适用于多种物体几何形状，而不仅限于特定形状。
• 证明物体的可堆叠性等功能特性可从任务驱动学习中自然涌现，而非预先定义。
• 评估基于视觉的物理直觉是否能在仿真中实现鲁棒且稳定的堆叠，包括处理不稳定或复杂配置。
• 评估模型通过配重策略稳定本质上不稳定的结构的能力。

提出的方法

• 作者构建了ShapeStacks，一个基于仿真的大规模数据集，包含20,000种堆叠配置，使用基本几何体（立方体、长方体、圆柱体、球体）构成，其机械失效点通过物理仿真生成丰富标注。
• 训练一个深度卷积神经网络，仅使用RGB图像对堆叠稳定性进行分类，监督信号来自物理引擎生成的结构失效标签。
• 通过探测模型内部表征，评估其是否学会定位不稳定的成因，如悬垂或质心错位。
• 从模型的特征激活中提取堆叠性得分，用于对物体堆叠适宜性进行排序，指导仿真中的主动塔楼构建。
• 堆叠策略采用模拟退火算法探索稳定放置方式，物体选择优先基于堆叠性得分。
• 通过冻结不稳定的堆叠结构并要求模型放置配重以防止倒塌，测试配重策略，评估不同物体类型下的成功率。

实验结果

研究问题

• RQ1 在多样化堆叠配置上训练的视觉模型是否能以高精度预测结构稳定性，并泛化到训练分布之外？
• RQ2 模型的内部表征是否捕捉到有意义的物理直觉，如不稳定的成因定位或质心违规？
• RQ3 模型所学习的物理直觉是否可用于在推理过程中无需显式物理引擎的情况下主动构建稳定堆叠？
• RQ4 模型是否从稳定性预测任务中隐式学习到物体特定的堆叠性作为涌现的功能特性？
• RQ5 模型是否能通过智能放置配重来稳定本质上不稳定的结构，表明其对平衡具有直观理解？

主要发现

• 该模型在真实积木塔稳定性预测任务中达到最先进性能，无需推理时使用物理引擎，表现与或超越先前最先进方法。
• 该模型能正确识别堆叠中不稳定的根源原因，如悬垂或质心错位，表明其具备内部物理推理能力。
• 从模型特征中提取的堆叠性得分能有效按物体几何形状对堆叠适宜性进行排序，实现主动堆叠中的高效优先级排序。
• 该模型在多种场景下成功构建了高达12层的稳定塔，且在混合形状（包括球体）上训练的模型优于仅在立方体上训练的模型。
• 在配重任务中，该模型对球形配重的成功率达98%，对长方体配重的成功率达94%，表明其对平衡与稳定具有强大的直观理解。
• 该模型在训练过程中未见过的配置上泛化能力良好，包括堆叠高度超过训练数据中最大值的情况。