[论文解读] syGlass: Interactive Exploration of Multidimensional Images Using Virtual Reality Head-mounted Displays

Stanislav Pidhorskyi, Michael A. Morehead+3 more|arXiv (Cornell University)|Apr 23, 2018

Computer Graphics and Visualization Techniques参考文献 10被引用 33

一句话总结

syGlass 是一种基于虚拟现实（VR）的软件系统，利用低成本头戴式显示器（HMDs）实现对大规模多维生物医学图像数据集的交互式、沉浸式探索。它通过优化的数据处理管道实现了高达16TB数据集的实时体绘制，同时在虚拟环境中提供先进的3D交互、注释和可视化工具，与传统的2D可视化方法相比，显著提升了对复杂3D结构的感知能力。

ABSTRACT

The quest for deeper understanding of biological systems has driven the acquisition of increasingly larger multidimensional image datasets. Inspecting and manipulating data of this complexity is very challenging in traditional visualization systems. We developed syGlass, a software package capable of visualizing large scale volumetric data with inexpensive virtual reality head-mounted display technology. This allows leveraging stereoscopic vision to significantly improve perception of complex 3D structures, and provides immersive interaction with data directly in 3D. We accomplished this by developing highly optimized data flow and volume rendering pipelines, tested on datasets up to 16TB in size, as well as tools available in a virtual reality GUI to support advanced data exploration, annotation, and cataloguing.

研究动机与目标

• 解决使用传统2D可视化系统难以探索的、大规模且复杂的3D生物医学图像数据集的可视化与交互挑战。
• 利用虚拟现实（VR）的深度感知和空间意识，提升用户对复杂3D生物结构的理解。
• 开发高性能、交互式的系统，实现在配备HMD的消费级工作站上实时渲染TB级体素数据。
• 在VR环境中提供直观、具备3D感知的工具，用于注释、数据目录化和协作式数据探索。
• 使研究人员能够追踪随时间变化的特征，定义感兴趣区域，并通过基于卡片的系统保存复杂的可视化状态。

提出的方法

• 该系统使用基于优化数据流和直接体绘制（DVR）管道的本机可视化与注释应用（NVAA），可处理最大达16TB的数据集。
• 体素数据以自定义二进制容器格式存储，以实现快速的GPU传输；网格和注释数据则通过基于Python的服务器应用程序进行管理，支持本地或远程数据库。
• 基于Electron的syBook管理应用支持项目管理、基于卡片的状态持久化以及跨多台工作站的用户协作。
• 自定义的VR图形用户界面（GUI）提供6自由度（6-DOF）交互工具，包括3D光标、特征追踪、感兴趣区域（ROI）选择，以及可视化增强工具，如基于强度、颜色、深度和梯度的渲染。
• 通过将传输函数应用于标量值、梯度或深度，提升特征可见性，支持多通道和彩色映射渲染。
• 卡片机制可序列化用户状态，包括相机位置、着色器设置和视点，使用户能够保存、搜索并恢复复杂的可视化会话。

实验结果

研究问题

• RQ1 如何利用低成本HMD的沉浸式VR来改善对大规模、多维生物医学图像数据的感知与探索？
• RQ2 在独立工作站上实现VR中TB级数据集的实时直接体绘制，需要哪些性能优化？
• RQ3 如何在VR环境中有效支持交互式3D注释与数据目录化，以促进协作性生物学研究？
• RQ4 在VR中哪些可视化技术最能增强对复杂3D生物结构（如神经回路或细胞器）的识别与分析？
• RQ5 如何在VR中持久保存并共享用户交互状态，以支持迭代式与协作式数据探索？

主要发现

• syGlass 在配备HMD的消费级硬件上，通过优化的数据流和体绘制管道，成功实现实时渲染高达16TB规模的数据集。
• 该系统实现了对体素数据的沉浸式立体3D交互，与逐切片的2D查看方式相比，显著提升了用户对复杂3D结构的感知能力。
• 特征追踪工具允许用户通过在3D空间中放置标记来追踪随时间移动的生物特征，生成关联的时间轨迹。
• ROI工具支持选择长方体区域用于目标分析、查询或数据裁剪，增强了聚焦探索能力。
• 卡片系统能有效捕获并恢复完整的用户状态（包括相机位置、着色器设置和视点），支持高效导航与协作。
• 通过为强度、颜色、深度和梯度应用传输函数进行可视化增强，显著提升了渲染体素中特征检测的准确性和结构清晰度。