[论文解读] SONIA: an immersive customizable virtual reality system for the education and exploration of brain networks

Owen Hellum, Christopher J. Steele+1 more|arXiv (Cornell University)|Jan 24, 2023

Anatomy and Medical Technology参考文献 18被引用 4

一句话总结

SONIA 是一种新颖、沉浸式且可定制的虚拟现实系统，专为脑网络的教育与探索而设计，支持对详细神经解剖学和功能连接数据的多尺度交互。通过用户研究评估，该系统展现出高可用性、强烈的视觉吸引力以及显著的教育价值，是首次将可定制叙事与3D脑子系统可视化相结合的VR系统。

ABSTRACT

While mastery of neuroanatomy is important for the investigation of the brain, there is an increasing interest in exploring the neural pathways to better understand the roles of neural circuitry in brain functions. To tackle the limitations of traditional 2D-display-based neuronavigation software in intuitively visualizing complex 3D anatomies, several virtual reality (VR) and augmented reality (AR) solutions have been proposed to facilitate neuroanatomical education. However, with the increasing knowledge on brain connectivity and the functioning of the sub-systems, there is still a lack of similar software solutions for the education and exploration of these topics, which demand more elaborate visualization and interaction strategies. To address this gap, we designed the immerSive custOmizable Neuro learnIng plAform (SONIA), a novel user-friendly VR software system with a multi-scale interaction paradigm that allows flexible customization of learning materials. With both quantitative and qualitative evaluations through user studies, the proposed system is shown to have high usability, attractive visual design, and good educational value. As the first immersive system that integrates customizable design and detailed narratives of the brain sub-systems for the education of neuroanatomy and brain connectivity, SONIA showcases new potential directions and provides valuable insights regarding medical learning and exploration in VR.

研究动机与目标

• 解决缺乏沉浸式、交互式VR工具用于教学和探索脑连接性与子系统功能的问题。
• 克服2D神经导航软件在可视化复杂3D脑解剖结构与神经通路方面的局限性。
• 开发一种用户友好的VR平台，支持可定制的学习材料与脑子系统的详细叙述。
• 通过定量与定性用户研究，评估系统的可用性、视觉设计与教育有效性。

提出的方法

• 设计一种多尺度交互范式，使用户能够从宏观脑结构导航至微观神经回路。
• 实现一种可定制的VR界面，使用户可根据教育目标自定义学习内容与叙述。
• 利用VR渲染技术，将详细的神经解剖学与功能连接数据整合至3D沉浸式环境中。
• 使用Unity3D与VR硬件（例如Meta Quest 2）构建并部署系统，实现实时交互。
• 融入基于叙事的教育内容，引导用户探索脑子系统及其功能角色。
• 通过定量指标（例如系统可用性量表）与定性反馈开展用户研究，评估性能与用户体验。

实验结果

研究问题

• RQ1 SONIA的沉浸式VR环境相较于传统2D神经解剖学工具，在支持用户理解复杂3D脑结构方面表现如何？
• RQ2 SONIA中可定制的叙事功能在多大程度上提升了用户参与度与脑网络教育的学习成效？
• RQ3 不同神经科学专业水平的用户对SONIA的可用性与视觉吸引力有何感知？
• RQ4 SONIA在虚拟环境中促进脑连接性与子系统功能探索方面的有效性如何？

主要发现

• SONIA在系统可用性方面得分较高，表明其在VR环境中具有出色的用户友好性与直观导航能力。
• 用户对VR体验的视觉设计与沉浸感表示高度满意。
• 可定制叙事功能被视作关键优势，支持个性化与情境丰富的学习路径。
• 定性反馈证实，SONIA能以引人入胜的方式有效支持脑连接性与子系统功能的探索。
• 该系统展现出强大的教育价值，用户报告对复杂脑网络相互作用的理解有所提升。
• 多尺度交互范式被用户成功采用，实现了不同解剖与功能细节层级之间的无缝切换。