[论文解读] Mutual Scene Synthesis for Mixed Reality Telepresence

Mohammad Keshavarzi, Michael Zollhoefer+3 more|arXiv (Cornell University)|Apr 1, 2022

3D Shape Modeling and Analysis被引用 5

一句话总结

本文提出了一种互惠场景合成（MSS）框架，通过联合优化用户物理空间中的可行走、可就座和可工作区域，生成一个共享且功能一致的虚拟环境，以支持混合现实远程协同。该框架结合了互惠功能优化模块与条件深度学习场景增强过程，合成出在语境上合理且物理上可达的虚拟场景，在互惠空间检测的时间与准确率方面显著优于人工分类方法。

ABSTRACT

Remote telepresence via next-generation mixed reality platforms can provide higher levels of immersion for computer-mediated communications, allowing participants to engage in a wide spectrum of activities, previously not possible in 2D screen-based communication methods. However, as mixed reality experiences are limited to the local physical surrounding of each user, finding a common virtual ground where users can freely move and interact with each other is challenging. In this paper, we propose a novel mutual scene synthesis method that takes the participants' spaces as input, and generates a virtual synthetic scene that corresponds to the functional features of all participants' local spaces. Our method combines a mutual function optimization module with a deep-learning conditional scene augmentation process to generate a scene mutually and physically accessible to all participants of a mixed reality telepresence scenario. The synthesized scene can hold mutual walkable, sittable and workable functions, all corresponding to physical objects in the users' real environments. We perform experiments using the MatterPort3D dataset and conduct comparative user studies to evaluate the effectiveness of our system. Our results show that our proposed approach can be a promising research direction for facilitating contextualized telepresence systems for next-generation spatial computing platforms.

研究动机与目标

• 解决多用户混合现实远程协同中，受限于各自本地物理空间时，寻找共享且物理可达的虚拟环境的挑战。
• 克服现有系统依赖空虚拟空间或预设环境的局限，这些系统缺乏与真实世界环境的空间对应关系。
• 通过合成一个与物理家具和房间布局保持功能对齐的共享虚拟场景，实现自然的移动与交互。
• 通过避免直接共享原始房间扫描或详细空间布局，保护用户隐私。
• 自动化识别多个用户环境中互惠的功能空间（如可行走、可就座、可工作区域），减少人工操作与时间成本。

提出的方法

• 系统接收每位参与者物理环境的3D重建结果，以带有语义与几何标注的场景图形式表示。
• 互惠功能优化模块计算所有用户空间中可行走、可就座与可工作区域的最大交集，确保所有参与者均可物理访问。
• 条件深度学习场景增强流程生成与对应物理物体功能和空间对齐的虚拟家具与物体（例如，虚拟椅子靠近真实椅子）。
• 增强过程利用学习到的场景先验与条件生成机制，基于功能相似性与空间上下文放置物体，提升真实感与可用性。
• 当互惠功能空间不足时，系统采用程序化初始化步骤，通过无碰撞的功能性布局放置来启动场景生成。
• 该框架基于MatterPort3D数据集进行评估，并通过对比用户研究验证了互惠空间检测性能。

实验结果

研究问题

• RQ1 能否在混合现实远程协同场景中，合成一个在多个用户不同物理环境中均保持功能一致性（可行走、可就座、可工作）的虚拟场景？
• RQ2 与用户人工分类相比，自动化系统在检测与生成互惠功能空间方面的效率如何？
• RQ3 条件化场景增强在提升虚拟物体与物理环境特征之间的空间与功能对齐方面，效果如何？
• RQ4 在高参与人数或复杂空间配置下，互惠场景合成系统的失败模式与可扩展性限制是什么？
• RQ5 系统如何在支持共享空间体验的同时，保护用户隐私？

主要发现

• 所提系统自动检测到的互惠功能空间显著大于人工分类结果，检测时间大幅缩短。
• 用户研究表明，自动化互惠空间检测方法在准确率与效率方面均优于人工标注基线。
• 条件化场景增强过程成功地将在功能上等效的物理物体附近放置虚拟物体，增强了空间一致性与沉浸感。
• 互惠功能优化模块即使在用户房间布局差异较大的情况下，也能有效识别共享的可行走与可就座区域。
• 系统在仅具备有限互惠空间的情况下，仍能从真实世界的MatterPort3D扫描中生成合理且可用的虚拟环境，表现出强鲁棒性。
• 局限性包括在高参与人数场景下因优化约束导致的失败，以及在迭代增强过程中对家具排列顺序的敏感性。