[论文解读] Progressive tearing and cutting of soft-bodies in high-performance virtual reality

Manos Kamarianakis, Antonis Protopsaltis+3 more|arXiv (Cornell University)|Sep 18, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出了一种基于几何的实时框架，用于在虚拟现实中对绑定的软体网格进行渐进式撕裂与切割，通过在线性混合皮肤网格上叠加粒子系统，在低配置设备上实现每帧低于10ms的性能，无需预处理或有限元法（FEM）开销。该方法可在无需预处理或FEM计算的情况下实现逼真、无约束的外科级切割，相较于现有方法在速度和灵活性方面表现更优，适用于虚拟现实医疗训练应用。

ABSTRACT

We present an algorithm that allows a user within a virtual environment to perform real-time unconstrained cuts or consecutive tears, i.e., progressive, continuous fractures on a deformable rigged and soft-body mesh model in high-performance 10ms. In order to recreate realistic results for different physically-principled materials such as sponges, hard or soft tissues, we incorporate a novel soft-body deformation, via a particle system layered on-top of a linear-blend skinning model. Our framework allows the simulation of realistic, surgical-grade cuts and continuous tears, especially valuable in the context of medical VR training. In order to achieve high performance in VR, our algorithms are based on Euclidean geometric predicates on the rigged mesh, without requiring any specific model pre-processing. The contribution of this work lies on the fact that current frameworks supporting similar kinds of model tearing, either do not operate in high-performance real-time or only apply to predefined tears. The framework presented allows the user to freely cut or tear a 3D mesh model in a consecutive way, under 10ms, while preserving its soft-body behaviour and/or allowing further animation.

研究动机与目标

• 实现实时、无约束的软体网格模型在高性能虚拟现实环境中的撕裂与切割。
• 克服预定义或基于FEM的切割方法在移动虚拟现实环境中因速度过慢或灵活性不足而带来的局限性。
• 在撕裂后保持软体变形行为与动画能力，确保外科模拟的真实性。
• 开发一种与主流游戏引擎（如Unity3D和Unreal Engine）兼容的框架，适用于低配置移动虚拟现实头戴设备的部署。
• 通过支持用户驱动的动态交互，实现对可变形组织的动态响应，推动协作式与沉浸式虚拟现实训练场景的发展。

提出的方法

• 该框架在线性混合皮肤网格之上叠加粒子系统，以模拟软体变形，实现撕裂后逼真的组织响应。
• 撕裂通过在绑定网格表面执行纯几何操作完成，避免昂贵的重网格化或FEM求解器。
• 通过高效的欧几里得几何谓词计算骨骼权重与粒子更新，确保计算开销最低。
• 撕裂操作被分解为原子步骤：相交检测、粒子断开、网格更新与粒子状态传播。
• 所有操作均针对每帧10ms内的实时执行进行优化，GPU/CPU负载极低，适用于移动虚拟现实设备部署。
• 该系统可无缝集成至Unity3D等游戏引擎，并已通过MAGES SDK提供支持。

实验结果

研究问题

• RQ1 是否能在无需预处理或FEM开销的前提下，在移动虚拟现实环境中实现实时（≤10ms）的软体网格渐进连续撕裂？
• RQ2 在外科模拟背景下，如何在撕裂后保持逼真的软体变形行为？
• RQ3 基于几何的方法是否能在性能与灵活性方面超越FEM或预定义动画方法，适用于虚拟现实应用？
• RQ4 在实时虚拟现实环境中，对复杂模型（如心脏、野兔）启用无约束、用户驱动切割的计算开销是多少？
• RQ5 该方法在实时虚拟现实渲染中，对不同复杂度与网格分辨率的模型具有怎样的可扩展性？

主要发现

• 该框架对球体的总撕裂操作时间仅为3.25ms，野兔模型为11.19ms，心脏模型为18.65ms，全部低于高性能虚拟现实的10ms阈值。
• 该方法优于最先进的方法（如He et al., 2022），后者对具有18,128个面的长方体模型需52.77ms，而本方法在复杂度相当的心脏模型上仅用18.65ms。
• 粒子更新与断开步骤计算开销最大，心脏模型上粒子断开耗时2.63ms，仍处于实时性能范围内。
• 由于用户在操作间存在自然的心理准备时间，系统在高复杂度模型的虚拟现实会话中仍保持极低的性能开销。
• 该方法在撕裂后仍支持动态软体行为，允许撕裂部分继续发生形变与动画，这对实现逼真外科模拟至关重要。
• 该系统已集成至MAGES SDK并在Unity3D中运行，证明其在真实世界虚拟现实医疗训练应用中的实际可部署性。