[论文解读] To Fall Or Not To Fall: A Visual Approach to Physical Stability Prediction

Wenbin Li, Seyedmajid Azimi+2 more|arXiv (Cornell University)|Mar 31, 2016

Spatial Cognition and Navigation参考文献 20被引用 57

一句话总结

本文提出一种数据驱动的端到端深度学习方法，直接从单目RGB图像预测积木塔的物理稳定性，无需显式三维重建或物理模拟。该模型在物理模拟器生成的合成数据上进行训练，能够高精度地分类稳定与不稳定结构配置，并与人类判断表现出强相关性，尤其在处理高度变化和复杂结构时表现优异，此时人类感知能力容易出错。

ABSTRACT

Understanding physical phenomena is a key competence that enables humans and animals to act and interact under uncertain perception in previously unseen environments containing novel object and their configurations. Developmental psychology has shown that such skills are acquired by infants from observations at a very early stage. In this paper, we contrast a more traditional approach of taking a model-based route with explicit 3D representations and physical simulation by an end-to-end approach that directly predicts stability and related quantities from appearance. We ask the question if and to what extent and quality such a skill can directly be acquired in a data-driven way bypassing the need for an explicit simulation. We present a learning-based approach based on simulated data that predicts stability of towers comprised of wooden blocks under different conditions and quantities related to the potential fall of the towers. The evaluation is carried out on synthetic data and compared to human judgments on the same stimuli.

研究动机与目标

• 探究是否能够仅从视觉外观直接预测物理稳定性，而无需显式三维建模或物理模拟。
• 评估基于数据驱动的视觉模型在合成积木塔配置上与人类判断的性能表现。
• 理解视觉学习在直观物理中的优势与局限，特别是针对高度、深度和遮挡因素的影响。
• 探索纯图像方法是否能够实现与人类直觉物理相当的鲁棒物理推理能力。

提出的方法

• 该方法使用卷积神经网络（CNN）在通过物理模拟器生成的合成RGB图像上进行训练，这些图像包含积木塔的视觉数据。
• 合成数据涵盖积木数量、积木尺寸、堆叠深度（二维与三维）、以及结构复杂度（平面型与多层结构）的多样性。
• 稳定性标签在数据生成阶段通过物理引擎模拟塔的倒塌过程自动生成。
• 模型从单视角RGB图像中进行二元分类，隐式学习如质心和支撑面等视觉线索。
• 通过在相同刺激上收集人类判断，用于对比模型性能并评估其类人推理能力。
• 评估包括准确率、皮尔逊相关系数等定量指标，以及在不同结构参数下的失败案例分析。

实验结果

研究问题

• RQ1 深度学习模型能否在无需显式三维表示或物理模拟的情况下，直接从视觉输入预测积木塔的物理稳定性？
• RQ2 在不同结构复杂度下，纯视觉模型的性能与人类感知相比如何？
• RQ3 在哪些场景下，模型的表现优于或劣于人类判断？
• RQ4 高度、深度、遮挡和积木尺寸变化等因素如何影响预测的可靠性？

主要发现

• 在积木尺寸一致的条件下，模型在稳定性预测上表现出高准确率，与人类判断的皮尔逊相关系数达到0.667。
• 在判断高塔稳定性方面，模型优于人类，因为人类在高度增加时因不确定性导致准确率显著下降。
• 在多层结构配置中，人类比模型更准确，可能是因为人类具有更优的深度感知和三维结构推断能力。
• 与人类相比，模型对遮挡更敏感，导致在部分可见情况下出现更高的误判为不稳定的预测。
• 失败案例分析显示，模型在复杂三维结构上表现更差，而人类对这类配置更具鲁棒性。
• 模型预测的置信度分布与人类评分分布高度一致，表明其内部不确定性估计具有良好的一致性。