[论文解读] Some Lessons Learned Running Virtual Reality Experiments Out of the Laboratory

Anthony Steed, Daniel Archer+4 more|arXiv (Cornell University)|Apr 12, 2021

Data Visualization and Analytics被引用 6

一句话总结

本文基于在非实验室环境中使用消费级VR硬件和远程参与者部署开展虚拟现实实验的实际经验，提供了实用的见解。作者详细阐述了自包含、自说明的实验策略，确保了稳健的知情同意、数据完整性和生态效度，从而在保持实验控制的同时实现可扩展、多样化的参与者招募。

ABSTRACT

In the past twelve months, our team has had to move rapidly from conducting most of our user experiments in a laboratory setting, to running experiments in the wild away from the laboratory and without direct synchronous oversight from an experimenter. This has challenged us to think about what types of experiment we can run, and to improve our tools and methods to allow us to reliably capture the necessary data. It has also offered us an opportunity to engage with a more diverse population than we would normally engage with in the laboratory. In this position paper we elaborate on the challenges and opportunities, and give some lessons learned from our own experience.

研究动机与目标

• 解决在非实验室环境中缺乏直接实验者监督时，开展可靠、有效VR实验的挑战。
• 通过利用消费级VR硬件和远程部署，实现更广泛、更多样化的参与者招募。
• 在无监督、分布式的实验环境中，确保数据完整性和参与者合规性。
• 通过分享完整的实验代码和开源资源，促进可重现性和开放性。
• 开发稳健、自记录的实验协议，最大限度减少远程环境中用户的误解和错误。

提出的方法

• 通过基于网络的分发方式以及SideQuest等第三方平台，将VR实验部署至使用消费级VR硬件的参与者。
• 在应用内嵌入知情同意和教程，确保参与者在无直接监督的情况下也能充分知情并得到引导。
• 采用安全的服务器端数据日志记录机制，防止本地数据留存，确保符合数据保护标准。
• 实施协议合规性检查，如响应时间过滤、答案模式验证以及平衡的问卷项目设计。
• 为有偿参与使用唯一的兑换码，将补偿与数据收集解耦，以保护匿名性。
• 通过服务器动态分发条件配置，实现实验条件间参与者分配的均衡。

实验结果

研究问题

• RQ1 如何设计VR实验，使其在无监督、远程环境中具备高度可靠性，且实验者干预最少？
• RQ2 在实验脱离实验室环境进行时，哪些技术和程序措施可确保数据质量和参与者合规性？
• RQ3 如何在保持内部效度的同时，提升远程VR研究的生态效度？
• RQ4 哪些策略可实现可扩展的参与者招募，同时不损害实验控制？
• RQ5 如何开放共享实验代码和数据，以支持可重现性和再利用？

主要发现

• 自包含的、应用内的教程以及标准化的交互技术（例如传送、抓取）显著降低了远程部署中的用户困惑。
• 通过过滤响应过快或在多个问题上给出相同答案的参与者，提升了数据质量，有效排除了注意力不集中或不合规的参与者。
• 使用安全服务器实时记录数据，确保敏感数据不会保留在客户端设备上，满足了数据保护要求。
• 当实验时长合理且提供清晰说明时，参与者更有可能一次性完成实验。
• 使用唯一的兑换码进行补偿，实现了匿名数据收集，同时仍能准确发放报酬。
• 远程部署使研究者能够接触到更广泛的参与者群体，包括经验丰富的VR用户，这在传统实验室环境中难以实现。