[论文解读] Semantic Augmented Reality Environment with Material-Aware Physical Interactions

Long Chen, Karl Francis+1 more|arXiv (Cornell University)|Aug 3, 2017

Augmented Reality Applications参考文献 1被引用 3

一句话总结

本文提出了一种语义增强现实框架，通过结合密集SLAM、基于MINC数据集微调的FCN进行深度语义分割，以及基于CRF的3D标签融合，实现了虚拟与真实物体之间的材质感知物理交互。该系统通过将材质特定响应（例如木材、玻璃、织物）映射到3D重建场景中，实现了实时、逼真的基于物理的交互效果——如弹孔和飞溅碎片——并在基于Unity的AR射击游戏中得到验证。

ABSTRACT

In Augmented Reality (AR) environment, realistic interactions between the virtual and real objects play a crucial role in user experience. Much of recent advances in AR has been largely focused on developing geometry-aware environment, but little has been done in dealing with interactions at the semantic level. High-level scene understanding and semantic descriptions in AR would allow effective design of complex applications and enhanced user experience. In this paper, we present a novel approach and a prototype system that enables the deeper understanding of semantic properties of the real world environment, so that realistic physical interactions between the real and the virtual objects can be generated. A material-aware AR environment has been created based on the deep material learning using a fully convolutional network (FCN). The state-of-the-art dense Simultaneous Localisation and Mapping (SLAM) has been used for the semantic mapping. Together with efficient accelerated 3D ray casting, natural and realistic physical interactions are generated for interactive AR games. Our approach has significant impact on the future development of advanced AR systems and applications.

研究动机与目标

• 在AR中实现对现实世界环境的高层语义理解，超越几何感知重建，引入材质语义信息。
• 解决AR系统中语义建模的不足，特别是在支持虚拟与真实物体之间逼真物理交互方面的挑战。
• 开发一种实时、材质感知的AR框架，支持复杂、交互式应用，如大规模AR游戏。
• 通过将语义标签集成到3D体素模型中，弥合AR中高层场景理解与低层物理模拟之间的概念鸿沟。

提出的方法

• 使用KinectFusion进行密集3D重建和基于粗到精ICP算法的实时相机位姿跟踪。
• 采用基于VGG-16的全卷积网络（FCN），在MINC数据集上进行微调，以对23种材质类别进行像素级语义分割。
• 应用CRF（条件随机场）在将2D语义标签投影到3D体素重建时，确保空间与上下文一致性。
• 集成八叉树加速结构，以高效执行3D射线投射，实现实时物理模拟中对材质属性的查询。
• 构建基于Unity的AR插件，同步RGB-D视频输入、相机位姿与语义3D模型，以支持实时交互。
• 根据真实表面材质，将材质特定的物理响应（如破碎、形变、碎裂）映射到虚拟物体交互中。

实验结果

研究问题

• RQ1 如何准确且高效地提取现实世界表面的材质语义，并将其映射到3D重建的AR环境中？
• RQ2 语义分割与3D标签融合在多大程度上能提升虚拟与真实物体在AR中物理交互的逼真度？
• RQ3 能否构建一种实时、语义感知的AR系统，以支持如具有材质特定响应的AR游戏等复杂交互应用？
• RQ4 将密集SLAM与深度语义学习相结合，如何增强AR环境的表达力与可用性，超越几何建模？

主要发现

• 该系统通过结合KinectFusion与基于FCN的语义分割，成功生成带有语义材质标签的3D体素模型。
• 基于CRF的融合方法确保了2D到3D标签映射的空间一致性，使重建场景中的语义标注保持连贯。
• 通过八叉树加速的射线投射系统实现实时性能，高效查询材质属性以支持物理模拟。
• 原型AR射击游戏展示了逼真的、与材质相关的物理交互效果——如在木材上留下弹孔、玻璃破碎、织物撕裂——提供了沉浸式用户反馈。
• 该框架通过将高层语义理解（材质类型）与低层物理行为相连接，实现了AR中交互建模的新层次。
• 将语义感知集成到AR系统中，为未来开发基于语义驱动行为的复杂、交互式AR应用铺平了道路。