[论文解读] Visual Graphs from Motion (VGfM): Scene understanding with object geometry reasoning

Stuart James, Alessio Del Bue|arXiv (Cornell University)|Jul 16, 2018

Multimodal Machine Learning Applications参考文献 29被引用 3

一句话总结

本文提出视觉运动图（VGfM），一种利用视频序列中的多视角几何信息推断3D物体关系并构建精确场景图的方法。通过基于RNN的框架融合几何与视觉特征，该方法在复杂空间布局中的场景理解方面表现优异，在新创建的多视角3D场景图数据集上达到了最先进性能。

ABSTRACT

Recent approaches on visual scene understanding attempt to build a scene graph -- a computational representation of objects and their pairwise relationships. Such rich semantic representation is very appealing, yet difficult to obtain from a single image, especially when considering complex spatial arrangements in the scene. Differently, an image sequence conveys useful information using the multi-view geometric relations arising from camera motion. Indeed, in such cases, object relationships are naturally related to the 3D scene structure. To this end, this paper proposes a system that first computes the geometrical location of objects in a generic scene and then efficiently constructs scene graphs from video by embedding such geometrical reasoning. Such compelling representation is obtained using a new model where geometric and visual features are merged using an RNN framework. We report results on a dataset we created for the task of 3D scene graph generation in multiple views.

研究动机与目标

• 为解决从单张图像构建准确且语义丰富的场景图的挑战，尤其是在复杂空间布局中。
• 利用视频序列中的多视角几何关系推断3D场景结构与物体关系。
• 开发一种统一框架，融合几何推理与视觉特征以提升场景理解能力。
• 创建并发布一个新的多视角3D场景图生成基准数据集，以支持未来研究。

提出的方法

• 系统首先利用视频输入的多视角几何信息估计场景中物体的3D几何位置。
• 采用基于RNN的架构，联合建模帧间视觉特征与几何约束。
• 通过相机运动与3D重建推导物体之间的几何关系，实现空间推理。
• 从帧中提取视觉特征，并与几何嵌入融合，以增强场景图构建。
• 通过预测基于3D空间结构的物体身份、属性及成对关系，生成场景图。
• 收集并标注了一个新数据集，用于评估多视角3D场景图生成性能。

实验结果

研究问题

• RQ1 与单图像方法相比，多视角视频序列是否能提升场景图构建的准确性？
• RQ2 从相机运动中进行的几何推理在建模物体间空间关系方面效果如何？
• RQ3 通过RNN融合几何与视觉特征在复杂场景中对提升场景图质量有多大作用？
• RQ4 所提方法在不同3D场景构型与物体排布下是否具有良好的泛化能力？

主要发现

• 所提出的VGfM框架在新创建的多视角3D场景图数据集上达到了最先进性能。
• 通过RNN融合几何与视觉特征，相比仅使用视觉特征，能生成更准确且一致的场景图预测。
• 利用多视角几何显著提升了对空间关系的建模能力，尤其对被遮挡或位置模糊的物体。
• 在密集物体排布的复杂场景中，该方法表现出鲁棒性，优于基线单视角方法。