[论文解读] Secondary Inputs for Measuring User Engagement in Immersive VR Education Environments

David Murphy, Conor Higgins|arXiv (Cornell University)|Oct 3, 2019

Virtual Reality Applications and Impacts被引用 7

一句话总结

本研究探讨了在沉浸式虚拟现实（VR）教育体验中，使用脑电图（EEG）和心电图（ECG）生物信号作为次要输入，以客观测量用户参与度——具体包括放松、专注和压力水平。结果表明，生理信号（心率、α波和θ波）与自报情绪状态之间存在显著对应关系，表明这些生物信号可作为VR学习环境中实时情感反馈的可行手段。

ABSTRACT

This paper presents an experiment to assess the feasibility of using secondary input data as a method of determining user engagement in immersive virtual reality (VR). The work investigates whether secondary data (biosignals) acquired from users are useful as a method of detecting levels of concentration, stress, relaxation etc. in immersive environments, and if they could be used to create an affective feedback loop in immersive VR environments, including educational contexts. A VR Experience was developed in the Unity game engine, with three different levels, each designed to expose the user in one of three different states (relaxation, concentration, stress). While in the VR Experience users physiological responses were measured using ECG and EEG sensors. After the experience users completed questionnaires to establish their perceived state during the levels, and to established the usability of the system. Next a comparison between the reported levels of emotion and the measured signals is presented, which show a strong correspondence between the two measures indicating that biosignals are a useful indicator of emotional state while in VR. Finally we make some recommendations on the practicalities of using biosensors, and design considerations for their incorporation in to a VR system, with particular focus on their integration in to task-based training and educational virtual environments.

研究动机与目标

• 评估在沉浸式VR环境中使用生物信号（ECG和EEG）作为次要输入手段，以测量情绪和认知状态的可行性。
• 评估生理反应是否与VR体验期间的自报情绪状态相关。
• 探索将生物传感器整合到VR教育系统中以实现实时情感反馈的实际方法。
• 识别在基于任务和建构主义的VR学习环境中部署生物传感器时的设计考量和技术挑战。
• 确定生物信号是否可作为用户参与度的客观指标，特别是在高风险培训模拟中。

提出的方法

• 在Unity中开发了一个三级VR体验，每个层级旨在诱发三种情绪状态中的一种：放松、专注/集中注意力，以及压力。
• 在用户与VR环境互动期间，使用ECG和干电极EEG传感器收集生理数据。
• 测量次要输入信号，包括来自ECG的心率，以及来自EEG的α、β和θ波活动，覆盖所有三个场景。
• 在体验后发放问卷，以评估参与者对自身情绪状态的感知及系统可用性。
• 将自报情绪状态与生理数据进行比较，以识别生物信号与情绪反应之间的相关性。
• 分析信号质量与干扰情况，特别是头部运动的影响，并评估传感器的可用性与用户舒适度。

实验结果

研究问题

• RQ1 在沉浸式VR环境中，生物信号（ECG和EEG）是否能可靠地指示放松、专注和压力等情绪状态的变化？
• RQ2 自报情绪状态在多大程度上与VR中的客观生理测量结果相关？
• RQ3 身体运动（如头部运动）在实时VR应用中对EEG和ECG数据的可靠性产生何种影响？
• RQ4 将生物传感器整合到VR教育系统中面临哪些实际挑战和设计考量？
• RQ5 生物信号是否可用于构建情感反馈回路，以提升VR中的学习或培训效果？

主要发现

• 在压力状态下，心率明显上升，与自报压力水平一致，支持心率作为情绪唤醒水平可靠指标的使用。
• 与专注状态相比，放松状态下α波活动显著更高，表明α波是放松状态的强指标。
• 在压力状态下，部分参与者的θ波活动升高，尤其是心率较高的个体，表明尽管存在信号噪声，θ波仍可能可靠反映压力状态。
• 在专注状态下，β波活动未表现出一致上升，可能由于头部运动或传感器限制所致，提示在此情境下β波可能不太可靠用于测量专注度。
• 尽管头部运动导致信号干扰，但整体生理反应模式与自报情绪状态高度一致，支持将生物信号作为次要输入的可行性。
• 大多数参与者表示传感器未造成明显干扰，尽管少数人能感知到传感器存在，表明在传感器存在感与用户舒适度之间可实现良好平衡。