[论文解读] Rate-Utility Optimized Streaming of Volumetric Media for Augmented Reality

Jounsup Park, Philip A. Chou+1 more|arXiv (Cornell University)|Apr 26, 2018

Image and Video Quality Assessment被引用 5

一句话总结

本文提出了一种新颖的增强现实（AR）体素媒体流媒体系统，通过使用3D瓦片、视点相关剔除和细节层次（LOD）自适应，结合基于窗口的缓冲机制，优化了质量与带宽，并降低了延迟。该系统引入了一种贪心且可证明最优的速率-效用算法，平衡了质量、视点相关性与设备分辨率，在网络条件变化时，其效用和用户体验均优于视频流媒体自适应方案。

ABSTRACT

Volumetric media, popularly known as holograms, need to be delivered to users using both on-demand and live streaming, for new augmented reality (AR) and virtual reality (VR) experiences. As in video streaming, hologram streaming must support network adaptivity and fast startup, but must also moderate large bandwidths, multiple simultaneously streaming objects, and frequent user interaction, which requires low delay. In this paper, we introduce the first system to our knowledge designed specifically for streaming volumetric media. The system reduces bandwidth by introducing 3D tiles, and culling them or reducing their level of detail depending on their relation to the user's view frustum and distance to the user. Our system reduces latency by introducing a window-based buffer, which in contrast to a queue-based buffer allows insertions near the head of the buffer rather than only at the tail of the buffer, to respond quickly to user interaction. To allocate bits between different tiles across multiple objects, we introduce a simple greedy yet provably optimal algorithm for rate-utility optimization. We introduce utility measures based not only on the underlying quality of the representation, but on the level of detail relative to the user's viewpoint and device resolution. Simulation results show that the proposed algorithm provides superior quality compared to existing video-streaming approaches adapted to hologram streaming, in terms of utility and user experience over variable, throughput-constrained networks.

研究动机与目标

• 解决增强现实中体素媒体低延迟自适应流媒体面临的挑战，这些挑战包括高带宽需求、快速启动以及对用户交互的响应能力。
• 通过3D瓦片划分和基于用户视锥体与距离的动态剔除，减少带宽消耗。
• 通过将传统的基于队列的缓冲机制替换为允许在缓冲区头部附近插入数据的基于窗口的缓冲结构，降低用户交互的响应延迟。
• 利用结合质量、细节层次和设备分辨率的效用模型，优化跨多个对象和瓦片的比特分配。
• 在带宽受限且吞吐量可变的网络环境中，评估系统性能与自适应视频流媒体方案的对比表现。

提出的方法

• 系统使用3D瓦片对体素媒体进行分区，实现基于用户空间相关性的选择性传输。
• 应用视锥体剔除和基于距离的细节层次（LOD）降低策略，以最小化视图外或远距离对象的数据传输量。
• 基于窗口的缓冲结构支持在播放头附近快速插入新数据，从而提升对用户交互的响应能力。
• 采用一种贪心且可证明最优的速率-效用优化算法，在瓦片间分配比特，以最大化由质量、LOD和设备分辨率定义的效用。
• 效用被建模为表示质量、瓦片相对于用户视点的LOD以及目标设备显示分辨率的函数。
• 通过在可变网络条件下的仿真评估系统性能，对比其与自适应视频流媒体方案在效用和用户体验方面的表现。

实验结果

研究问题

• RQ1 如何在最小带宽消耗和低延迟的前提下高效地流媒体传输体素媒体？
• RQ2 在不同LOD和视点相关性的多个3D瓦片之间，比特分配的最优方式是什么？
• RQ3 在交互式AR场景中，基于窗口的缓冲相比传统的基于队列的缓冲在响应能力方面有何改进？
• RQ4 与视频流媒体自适应方案相比，所提出的速率-效用优化在多大程度上提升了用户体验？
• RQ5 视点相关剔除和LOD自适应在体素AR流媒体中对带宽和质量有何影响？

主要发现

• 所提出的速率-效用优化算法为瓦片间比特分配采用贪心策略且可证明最优，确保在带宽约束下实现最大效用。
• 基于窗口的缓冲机制通过允许在缓冲区头部附近插入数据，显著加快了对用户交互的响应，降低了感知延迟。
• 视点相关剔除和LOD自适应显著减少了带宽使用，同时未损害感知质量。
• 仿真结果表明，在吞吐量可变且受限的网络环境中，所提系统在效用和用户体验方面均优于自适应视频流媒体方案。
• 结合视点相关性和设备分辨率的效用模型，实现了更符合感知特性的资源分配，提高了效率。
• 该系统能有效支持多个体素对象的同时流媒体传输，同时保持低延迟和高自适应性。