[论文解读] SceneGen: Generative Contextual Scene Augmentation using Scene Graph Priors

Mohammad Keshavarzi, Aakash Parikh+4 more|arXiv (Cornell University)|Sep 25, 2020

Robotics and Sensor-Based Localization参考文献 53被引用 13

一句话总结

SceneGen 是一种生成式框架，利用显式的空间场景图和核密度估计，预测在真实世界3D场景中虚拟物体的最优、上下文合理的位置。通过从真实世界3D扫描数据（如 Matterport3D）中学习拓扑关系，它生成位置和朝向的概率图，从而实现实时、逼真的增强现实虚拟物体叠加，其表现优于随机或基于表面的放置方式。

ABSTRACT

Spatial computing experiences are constrained by the real-world surroundings of the user. In such experiences, augmenting virtual objects to existing scenes require a contextual approach, where geometrical conflicts are avoided, and functional and plausible relationships to other objects are maintained in the target environment. Yet, due to the complexity and diversity of user environments, automatically calculating ideal positions of virtual content that is adaptive to the context of the scene is considered a challenging task. Motivated by this problem, in this paper we introduce SceneGen, a generative contextual augmentation framework that predicts virtual object positions and orientations within existing scenes. SceneGen takes a semantically segmented scene as input, and outputs positional and orientational probability maps for placing virtual content. We formulate a novel spatial Scene Graph representation, which encapsulates explicit topological properties between objects, object groups, and the room. We believe providing explicit and intuitive features plays an important role in informative content creation and user interaction of spatial computing settings, a quality that is not captured in implicit models. We use kernel density estimation (KDE) to build a multivariate conditional knowledge model trained using prior spatial Scene Graphs extracted from real-world 3D scanned data. To further capture orientational properties, we develop a fast pose annotation tool to extend current real-world datasets with orientational labels. Finally, to demonstrate our system in action, we develop an Augmented Reality application, in which objects can be contextually augmented in real-time.

研究动机与目标

• 解决在多样化真实世界3D环境中为空间计算应用实现上下文合理虚拟物体定位的挑战。
• 克服当前AR系统依赖简单表面定位或缺乏场景理解的局限性。
• 显式建模物体与房间之间的拓扑关系，实现更合理且功能性的虚拟内容增强。
• 开发一种生成模型，通过热力图提供多个高概率的定位选项，以支持用户偏好。
• 利用基于真实世界3D扫描数据（附带朝向标注）训练的框架，实现实时、上下文感知的AR增强。

提出的方法

• 构建一种新颖的空间场景图表示，编码物体、物体组与房间之间的拓扑关系。
• 使用核密度估计（KDE）从真实3D扫描中提取的先验空间场景图构建多变量条件知识模型。
• 开发一种快速姿态标注工具，为真实世界数据集补充方向标签，填补现有数据集中的关键空白。
• 在基于KDE的知识模型上训练生成模型，以预测虚拟物体定位的位置与朝向概率图。
• 实现一个实时AR应用，从概率图中采样，实现实时场景中上下文合理的虚拟物体放置。
• 采用迭代放置策略，逐个添加物体，后续放置基于先前放置结果进行条件化。

实验结果

研究问题

• RQ1 如何通过利用真实世界场景中的空间关系，使AR中的虚拟物体定位更具上下文合理性？
• RQ2 与隐式模型相比，显式拓扑特征（如物体间距、房间边界）在多大程度上提升了虚拟物体定位的真实感？
• RQ3 基于真实世界3D场景先验训练的生成模型，其定位预测是否与人类偏好一致？
• RQ4 方向先验如何影响空间计算中虚拟物体增强的质量与真实感？
• RQ5 高概率定位的热力图是否能提升用户接受度与对定位决策的感知合理性？

主要发现

• 用户研究表明，与随机或基于表面的放置相比，SceneGen 显著提升了虚拟物体定位的合理性。
• 用户研究显示，使用 SceneGen 热力图增强的场景在合理性评分上高于仅使用最高置信度预测的场景，表明可视化多个选项具有显著价值。
• 该模型的前5个预测结果中常包含真实位置，表明其与人类对物体定位的直觉高度一致。
• 不同用户对物体定位存在不同偏好，而 SceneGen 的热力图使用户能够从多个高概率选项中选择，从而提升用户满意度。
• 放置较大物体（如床）时，概率区域高度集中且成簇，而较小或装饰性物体则表现出更高的位置偏好多样性。
• 该框架成功实现了基于真实世界3D数据训练的生成模型在实时AR增强中的应用，证明了其在空间计算工作流中的实际可行性。