[论文解读] Visual Stability Prediction and Its Application to Manipulation

Wenbin Li, Aleš Leonardis+1 more|arXiv (Cornell University)|Sep 15, 2016

Data Visualization and Analytics参考文献 24被引用 5

一句话总结

本文提出一种数据驱动的端到端深度学习方法，直接从RGB图像和前景掩码预测积木塔的物理稳定性，无需显式三维建模或物理仿真。在合成数据上训练后，该模型在真实世界稳定性预测中达到78.6%的准确率，并使机器人能够基于预测的稳定放置位置成功堆叠积木，其表现优于随机猜测，且在相同任务上达到或超过人类水平。

ABSTRACT

Understanding physical phenomena is a key competence that enables humans and animals to act and interact under uncertain perception in previously unseen environments containing novel objects and their configurations. Developmental psychology has shown that such skills are acquired by infants from observations at a very early stage. In this paper, we contrast a more traditional approach of taking a model-based route with explicit 3D representations and physical simulation by an {\em end-to-end} approach that directly predicts stability from appearance. We ask the question if and to what extent and quality such a skill can directly be acquired in a data-driven way---bypassing the need for an explicit simulation at run-time. We present a learning-based approach based on simulated data that predicts stability of towers comprised of wooden blocks under different conditions and quantities related to the potential fall of the towers. We first evaluate the approach on synthetic data and compared the results to human judgments on the same stimuli. Further, we extend this approach to reason about future states of such towers that in turn enables successful stacking.

研究动机与目标

• 探究是否能够仅通过视觉外观直接预测积木结构的物理稳定性，而无需显式三维表示或物理仿真。
• 评估数据驱动方法在视觉稳定性判断任务中是否能够达到或超越人类水平表现。
• 通过仅使用视觉输入预测稳定未来放置位置，实现机器人积木堆叠。
• 通过基于前景掩码的特征学习，减少合成训练数据与真实世界场景之间的领域差异。
• 证明直观物理推理可从观察中学习，模拟婴儿的发育学习过程。

提出的方法

• 使用不同积木数量、尺寸和构型（平面型与多层型）生成合成积木塔数据集，并在训练阶段利用物理仿真器对稳定性进行标注。
• 使用合成塔的二值化前景掩码对卷积神经网络（CNN）进行训练，以预测在重力作用下塔是否会倒塌。
• 测试时，通过背景减除处理真实世界场景，提取前景掩码，并将其输入已训练模型进行稳定性预测。
• 通过将顶层表面划分为9×5网格生成候选积木放置位置，每个候选位置均使用视觉稳定性模型评估其稳定性。
• 机器人仅在预测为稳定的放置位置上执行堆叠尝试，成功定义为三次尝试中至少有一次成功。
• 在部分合成刺激样本上开展人类受试者研究，以比较模型表现与人类判断。

实验结果

研究问题

• RQ1 是否能够仅通过视觉外观直接预测积木结构的物理稳定性，而无需显式三维建模或物理仿真？
• RQ2 在存在领域差异的情况下，基于合成数据训练的数据驱动模型在真实世界场景中的泛化能力如何？
• RQ3 该模型在相同刺激样本上的表现是否与人类水平相当或更优？
• RQ4 哪些图像区域最能预测不稳定性？这些区域是否与实际倒塌起始点相关？
• RQ5 该模型能否通过预测稳定未来放置位置，指导机器人成功堆叠积木？

主要发现

• 该模型在所有测试候选中实现了78.6%的真实世界稳定性预测准确率，显著优于随机猜测。
• 在人类受试者比较中，该模型在相同合成刺激上的表现与人类判断相当或更优。
• 该模型成功指导机器人实现积木堆叠，当正确预测稳定放置位置时，操作成功率达到100%。
• 该模型识别出与不稳定塔中初始倒塌区域相关的判别性图像区域，表明其具备合理的推理机制。
• 在测试时使用前景掩码而非RGB图像，显著降低了领域差异的影响，提升了真实世界泛化能力。
• 机器人在所有场景上的平均成功率为66.7%，性能随场景复杂度和预测可靠性而变化。