[论文解读] Novel Approach to Measure Motion-To-Photon and Mouth-To-Ear Latency in Distributed Virtual Reality Systems

Armin Becher, Jens Angerer+1 more|arXiv (Cornell University)|Sep 17, 2018

Virtual Reality Applications and Impacts参考文献 12被引用 10

一句话总结

本文提出了一种低成本、开源的硬件系统，利用微控制器、传感器和GPS同步技术，测量分布式VR系统中的运动到图像（motion-to-photon）和嘴到耳（mouth-to-ear）延迟。该方法可实现对全球VR部署中本地和端到端网络延迟的精确、实时测量，在现代HMD（如Oculus Rift CV1和HTC Vive）上实现了低于20ms的本地运动到图像延迟。

ABSTRACT

Distributed Virtual Reality systems enable globally dispersed users to interact with each other in a shared virtual environment. In such systems, different types of latencies occur. For a good VR experience, they need to be controlled. The time delay between the user's head motion and the corresponding display output of the VR system might lead to adverse effects such as a reduced sense of presence or motion sickness. Additionally, high network latency among worldwide locations makes collaboration between users more difficult and leads to misunderstandings. To evaluate the performance and optimize dispersed VR solutions it is therefore important to measure those delays. In this work, a novel, easy to set up, and inexpensive method to measure local and remote system latency will be described. The measuring setup consists of a microcontroller, a microphone, a piezo buzzer, a photosensor, and a potentiometer. With these components, it is possible to measure motion-to-photon and mouth-to-ear latency of various VR systems. By using GPS-receivers for timecode-synchronization it is also possible to obtain the end-to-end delays between different worldwide locations. The described system was used to measure local and remote latencies of two HMD based distributed VR systems.

研究动机与目标

• 为解决分布式虚拟现实（VR）系统中延迟带来的关键挑战，该挑战会损害沉浸感和协作体验。
• 开发一种低成本、易于部署的方法，用于测量VR系统中的本地（运动到图像）和远程（端到端）延迟。
• 利用现成组件，实现对地理分散的VR位置之间音频和视觉延迟的精确、时间同步测量。
• 为研究人员和开发者提供可复现、开源的工具，用于评估和优化VR软硬件栈性能。
• 在真实世界的基于HMD的分布式VR系统上验证该方法，证明其实际可行性和准确性。

提出的方法

• 系统使用微控制器（如Arduino）控制压电蜂鸣器和光电传感器，生成并检测定时信号。
• 光电二极管检测由蜂鸣器触发的LED发出的光脉冲，同时麦克风捕获音频信号，从而实现对音频和视觉事件的精确时间戳记录。
• GPS接收器为分布式节点提供纳秒级时间同步，支持远程VR位置之间端到端延迟的精确测量。
• 系统记录运动输入（通过头部追踪）、显示输出（通过光电传感器）和音频输出（通过麦克风）的时间戳，以计算运动到图像延迟和嘴到耳延迟。
• 通过传感器信号的互相关分析和时间戳对齐，实现亚毫秒级精度的延迟计算。
• 通过已知信号路径进行校准，并与高精度参考测量结果进行验证。

实验结果

研究问题

• RQ1 在现代基于HMD的分布式VR系统中，运动到图像延迟是多少？其受V-Sync和渲染设置的影响如何？
• RQ2 在地理分散的VR用户之间，端到端音频（嘴到耳）延迟是多少？网络拓扑结构如何影响该延迟？
• RQ3 低成本、开源的硬件设置是否能在多个位置实现毫秒以下精度的VR系统延迟测量？
• RQ4 与现有的基于视频或音频的延迟测量技术相比，该方法在准确性和实用性方面表现如何？
• RQ5 分布式VR系统中的主要延迟来源是什么？能否通过该方法将其隔离并量化？

主要发现

• 该系统成功测量了现代HMD（如Oculus Rift CV1和HTC Vive）上的本地运动到图像延迟，范围为10–18 ms，即使启用了V-Sync也保持在该范围内。
• 通过GPS同步的时间基准，实现了远程VR位置之间端到端延迟的精确测量，支持跨位置延迟分析。
• 该方法在延迟测量中表现出亚毫秒级精度，经由受控信号路径和互相关技术验证。
• 结果表明，当前HMD可实现极低的本地运动到图像延迟，挑战了以往认为V-Sync必然增加延迟的假设。
• 该系统可在不同VR平台间扩展复用，硬件成本极低，无需高速摄像机或专用设备。
• 该方法可同时检测视觉和音频延迟分量，支持对VR系统响应能力的全面评估。