[论文解读] Towards the Holodeck: Fully Immersive Virtual Reality Visualisation of Scientific and Engineering Data

Stefan Marks, Javier Estévez+1 more|AUT Scholarly Commons|Apr 20, 2016

Computer Graphics and Visualization Techniques参考文献 21被引用 43

一句话总结

本文提出了一种使用消费级VR头戴设备和广域动作捕捉系统的全沉浸式虚拟现实（VR）可视化系统，以实现对科学与工程数据的交互式探索。通过两个案例研究——一个使用自定义渲染引擎，另一个使用商业游戏引擎——展示了沉浸式VR在科研与工程场景中进行数据可视化的可行性与优势。

ABSTRACT

In this paper, we describe the development and operating principles of an immersive virtual reality (VR) visualisation environment that is designed around the use of consumer VR headsets in an existing wide area motion capture suite. We present two case studies in the application areas of visualisation of scientific and engineering data. Each of these case studies utilise a different render engine, namely a custom engine for one case and a commercial game engine for the other. The advantages and appropriateness of each approach are discussed along with suggestions for future work.

研究动机与目标

• 开发一种使用可及的消费级VR硬件实现复杂科学与工程数据全沉浸式VR可视化的环境。
• 评估不同渲染引擎（自定义引擎与商业游戏引擎）在支持沉浸式数据探索方面的有效性。
• 通过VR环境中实时、三维可视化，实现对大规模科学数据集的交互式、空间化分析。
• 展示沉浸式VR在真实世界科研与工程工作流程中的实际应用。
• 识别在构建适用于研究应用的可扩展、交互式VR可视化管道过程中面临的技术与设计挑战。

提出的方法

• 将消费级VR头戴设备（如Oculus Rift）与广域动作追踪系统集成，以实现全身与头部运动的追踪。
• 实现一个自定义渲染引擎，用于在沉浸式三维空间中实现高保真、低延迟的科学数据可视化。
• 开发第二个可视化管道，使用商业游戏引擎（如Unity或Unreal Engine）以实现快速原型设计与交互式渲染。
• 设计专为VR中三维空间数据操作而定制的用户界面与交互隐喻，包括手势与凝视控制。
• 应用优化的渲染技术，如细节层次管理与遮挡剔除，以在高帧率下保持性能。
• 利用动作捕捉数据实时同步用户的位置与朝向，实现在虚拟环境中的自然导航与交互。

实验结果

研究问题

• RQ1 如何有效整合消费级VR硬件与动作捕捉系统，以构建可扩展的沉浸式可视化环境？
• RQ2 在VR中进行科学数据可视化时，使用自定义渲染引擎与商业游戏引擎在性能与可用性方面存在哪些权衡？
• RQ3 与传统2D显示相比，沉浸式VR在提升复杂三维科学与工程数据集的感知与分析能力方面能达到何种程度？
• RQ4 在完全沉浸式的三维VR环境中，哪些交互范式最有效地支持科学数据的探索与操作？
• RQ5 在高保真VR环境中可视化大规模复杂数据集时，如何保持实时渲染性能？

主要发现

• 该系统成功实现了使用消费级VR硬件在全沉浸式VR环境中实时、低延迟地可视化复杂科学与工程数据集。
• 自定义渲染引擎在渲染保真度与优化方面提供了更高的控制力，尤其适用于特定领域数据格式与可视化技术。
• 商业游戏引擎显著加快了开发与原型设计速度，提供了强大的用户交互工具与视觉质量，且工程投入最小。
• 动作追踪集成实现了自然的全身导航与交互，显著提升了用户参与度与对数据的空间理解能力。
• 两种方法均证明了沉浸式VR在科学可视化中的可行性，引擎的选择取决于性能、开发速度与定制化需求等优先考量。
• 用户反馈表明，在VR中探索三维数据集相比传统2D显示，能显著提升空间认知能力与数据洞察力。