[论文解读] Towards Modeling Software Quality of Virtual Reality Applications from Users' Perspectives

Shuqing Li, Lili Wei+4 more|arXiv (Cornell University)|Aug 13, 2023

Virtual Reality Applications and ImpactsComputer Science被引用 3

一句话总结

本研究基于用户视角，首次对虚拟现实（VR）软件质量进行了大规模实证分析，采用半自动方法从七个平台的14,150款VR应用中挖掘了1,132,056条用户评论。研究识别出12项关键质量属性，其中VR特有的因素如移动机制、控制设计和沉浸感在用户关注中排名最高，且发现性能效率低下和交互设计不佳会显著降低用户舒适度与体验。

ABSTRACT

Virtual Reality (VR) technology has become increasingly popular in recent years as a key enabler of the Metaverse. VR applications have unique characteristics, including the revolutionized human-computer interaction mechanisms, that distinguish them from traditional software. Hence, user expectations for the software quality of VR applications diverge from those for traditional software. Investigating these quality expectations is crucial for the effective development and maintenance of VR applications, which remains an under-explored area in prior research. To bridge the gap, we conduct the first large-scale empirical study to model the software quality of VR applications from users' perspectives. To this end, we analyze 1,132,056 user reviews of 14,150 VR applications across seven app stores through a semiautomatic review mining approach. We construct a taxonomy of 12 software quality attributes that are of major concern to VR users. Our analysis reveals that the VR-specific quality attributes are of utmost importance to users, which are closely related to the most unique properties of VR applications like revolutionized interaction mechanisms and immersive experiences. Our examination of relevant user complaints reveals the major factors impacting user satisfaction with VR-specific quality attributes. We identify that poor design or implementation of the movement mechanisms, control mechanisms, multimedia systems, and physics, can significantly degrade the user experience. Moreover, we discuss the implications of VR quality assurance for both developers and researchers to shed light on future work. For instance, we suggest developers implement sufficient accessibility and comfort options for users with mobility limitations, sensory impairments, and other specific needs to customize the interaction mechanisms. Our datasets and results will be released to facilitate follow-up studies.

研究动机与目标

• 理解VR用户在VR应用独特沉浸式与交互式特性背景下最优先关注的软件质量属性。
• 识别出对用户体验，特别是舒适度与安全性方面产生负面影响的关键技术与设计因素。
• 为开发者和研究人员提供可操作的见解，通过以用户为中心的设计与测试实践提升VR质量保障。
• 基于真实用户反馈，建立全面且实证基础的VR软件质量属性分类体系。

提出的方法

• 通过系统化搜索策略（标签、关键词、第三方库）从七个应用商店收集了14,150款VR应用的1,132,056条用户评论。
• 采用结合自然语言处理（NLP）技术与人工定性编码的半自动评论挖掘流程，以提取细粒度的质量属性。
• 通过五名评估者进行多轮开放式编码与聚焦编码，构建出包含12项软件质量属性的分类体系，确保交叉验证与可靠性。
• 通过分析用户投诉与表扬，识别影响因素，尤其关注性能、交互机制与感官感知方面。
• 通过三名资深分析师在四轮中采用迭代共识标注方法，确保人工标注的准确性并减少主观性。
• 发布数据集与人工分析材料，以支持VR质量保障领域的可复现性与未来研究。

实验结果

研究问题

• RQ1 VR用户最关注的12项突出软件质量属性是什么？
• RQ2 哪些技术与设计因素对VR特定质量属性的用户满意度影响最为显著？
• RQ3 性能效率低下与交互设计缺陷如何影响VR应用中的用户舒适度与晕动症？
• RQ4 与舒适度和安全性相关的用户投诉与表扬之间存在哪些关键差异？哪些设计模式可缓解这些问题？

主要发现

• VR特有的质量属性——尤其是移动机制、控制设计、多媒体系统和物理模拟——在用户关注中排名最高，对用户体验最为关键。
• 性能效率低下（如帧率下降、高延迟）与晕动症密切相关，用户明确表示低帧率会引发严重不适。
• 现实运动追踪与虚拟移动机制实现不足，是导致身体不适与可用性下降的主要原因。
• 用户高度认可可自定义的舒适度设置（如可调节的转向速度与移动强度），这些设置显著提升了用户耐受度与满意度。
• 正确实现的边界警告（如视觉网格与障碍物提示）常获用户称赞，能有效降低碰撞风险并增强安全感知。
• 功能性适用性、多感官感知与性能效率等质量属性对神经与身体舒适度具有联动影响，凸显了VR质量保障中各属性间的内在关联性。