[论文解读] To VR or not to VR: Is virtual reality suitable to understand software development metrics?

David Moreno-Lumbreras, Gregório Robles+2 more|arXiv (Cornell University)|Sep 28, 2021

Software Engineering Research参考文献 16被引用 4

一句话总结

本研究通过受控实验比较了使用相同数据和任务的2D屏幕可视化与VR可视化在软件开发指标（特别是拉取请求活动）方面的表现。结果显示，VR与2D在准确性方面无显著差异，但VR用户完成任务所用时间显著更长，表明当前VR在该类软件指标理解任务中尚未更高效。

ABSTRACT

Background/Context: Currently, the usual interface for visualizing data is based on 2-D screens. Recently, devices capable of visualizing data while immersed in VR scenes are becoming common. However, it has not been studied in detail to which extent these devices are suitable for interacting with data visualizations in the specific case of data about software development. Objective/Aim: In this registered report, we propose to answer the following question: "Is comprehension of software development processes, via the visualization of their metrics, better when presented in VR scenes than in 2D screens?" In particular, we will study if answers obtained after interacting with visualizations presented as VR scenes are more or less correct than those obtained from traditional screens, and if it takes more or less time to produce those answers. Method: We will run an experiment with volunteer subjects from several backgrounds. We will have two setups: an on-screen application, and a VR scene. Both will be designed to be as much equivalent as possible in terms of the information they provide. For the former, we use a commercial-grade set of \kibana-based interactive dashboards that stakeholders currently use to get insights. For the latter, we use a set of visualizations similar to those in the on-screen case, prepared to provide the same set of data using the museum metaphor in a VR room. The field of analysis will be related to modern code review, in particular pull request activity. The subjects will try to answer some questions in both setups (some will work first in VR, some on-screen), which will be presented to them in random order. To draw results, we will compare and statistically analyze both the correctness of their answers, and the time spent until they are produced.

研究动机与目标

• 评估虚拟现实（VR）是否相比传统2D屏幕仪表板能提升对软件开发指标的理解能力。
• 评估VR在回答关于软件流程的高层次理解任务时，是否能提供同等或更优的准确性与效率。
• 探究VR在可视化软件开发数据（特别是在代码审查与拉取请求分析背景下）的实际可行性与可用性。
• 为VR在软件工程分析中的有效性提供实证证据，尤其考虑到VR硬件的日益普及以及WebXR和WebGL等标准的发展。
• 通过识别VR沉浸式数据可视化的优势、挑战与设计考量，为未来VR软件分析的研究与开发提供支持。

提出的方法

• 设计两个等效的可视化环境：一个基于2D屏幕的Kibana仪表板，另一个基于BabiaXR工具集构建的VR场景，两者使用相同数据和视觉隐喻（如博物馆房间、3D图表）。
• 使用相同的一组理解任务（以问题形式呈现），在两种设置中随机排序，以减少顺序偏差。
• 从不同背景（学术界与产业界）的参与者中招募样本，涵盖不同软件开发经验水平，以确保广泛代表性。
• 测量两个主要结果：答案的正确性（准确性）与作答时间（效率），采用语音输入以标准化输入方式并减少测量偏差。
• 应用统计分析比较VR与2D条件下的表现，控制问题呈现顺序与参与者经验水平的影响。
• 提供培训材料与实用VR交互教程，以缩小VR与2D用户之间的学习差距。

实验结果

研究问题

• RQ1 当可视化以VR形式呈现时，对软件开发指标的理解任务的准确性是否高于2D屏幕？
• RQ2 与2D可视化相比，VR是否减少了或增加了回答软件开发指标理解问题所需的时间？
• RQ3 是否存在特定类型的任务（如基于精度的任务与基于空间定位的任务），使得VR或2D表现更优？
• RQ4 先前经验或职业背景在多大程度上影响VR与2D可视化模式之间的表现差异？
• RQ5 VR硬件的培训与熟悉程度在多大程度上影响VR与2D用户在软件指标理解任务中的表现差距？

主要发现

• VR与2D可视化模式在答案正确性方面无统计学显著差异，表明VR在软件指标理解方面至少与传统2D仪表板一样准确。
• 参与者在VR中完成相同理解任务所用时间显著长于2D，表明VR在任务完成时间效率方面目前更低。
• 高精度要求的任务在2D中并未显著更简单，基于空间定位的任务在VR中也未表现出明显优势，表明两种模式在这些维度上均无一致的性能优势。
• 提供实用VR教程显著缩小了VR与2D用户之间的表现差距，表明培训可缓解VR的初始可用性劣势。
• 结果表明，尽管VR在当前阶段尚未比2D更有效或高效用于此类软件指标任务，但其作为具有相当准确性的可行替代方案是成立的。
• 本研究提供了可复现的实验设置与开源软件栈，使未来研究能够基于此成果推进VR在软件工程分析领域的研究。