[论文解读] Spatial and Temporal Consistency-Aware Dynamic Adaptive Streaming for 360-Degree Videos

Hui Yuan, Shiyun Zhao+3 more|arXiv (Cornell University)|Dec 20, 2019

Image and Video Quality Assessment参考文献 51被引用 4

一句话总结

该论文提出了一种面向360度视频的空间与时间一致性感知的动态自适应流媒体框架，通过联合优化码率分配、视场（FoV）预测和图块优先级，提升了用户体验质量（QoE）。采用高斯模型进行FoV预测，使用基于Zipf的优先级模型进行图块下载，该方法通过两阶段优化平衡了FoV质量、空间一致性和时间平滑性，在受控和真实网络环境中均优于当前最先进方法。

ABSTRACT

The 360-degree video allows users to enjoy the whole scene by interactively switching viewports. However, the huge data volume of the 360-degree video limits its remote applications via network. To provide high quality of experience (QoE) for remote web users, this paper presents a tile-based adaptive streaming method for 360-degree videos. First, we propose a simple yet effective rate adaptation algorithm to determine the requested bitrate for downloading the current video segment by considering the balance between the buffer length and video quality. Then, we propose to use a Gaussian model to predict the field of view at the beginning of each requested video segment. To deal with the circumstance that the view angle is switched during the display of a video segment, we propose to download all the tiles in the 360-degree video with different priorities based on a Zipf model. Finally, in order to allocate bitrates for all the tiles, a two-stage optimization algorithm is proposed to preserve the quality of tiles in FoV and guarantee the spatial and temporal smoothness. Experimental results demonstrate the effectiveness and advantage of the proposed method compared with the state-of-the-art methods. That is, our method preserves both the quality and the smoothness of tiles in FoV, thus providing the best QoE for users.

研究动机与目标

• 为在带宽受限的动态网络条件下提供高质量360度视频流，解决该挑战。
• 减少用户快速切换视角时的视场切换延迟，并保持视觉一致性。
• 优化图块间的码率分配，以在视场（FoV）中保持空间与时间的平滑性。
• 通过整合缓冲区管理、FoV预测与自适应图块下载策略，提升用户QoE。
• 开发一种稳健的端到端框架，在多样化的网络与观看场景中优于现有方法。

提出的方法

• 提出一种新颖的码率自适应算法，通过平衡缓冲区长度与视频质量，确定每个视频段的请求码率。
• 基于用户头部运动趋势，使用高斯模型在每个视频段开始时预测视场（FoV）。
• 利用基于Zipf的模型为360度视频中的所有图块分配不同优先级，以应对播放过程中潜在的视场切换。
• 采用两阶段优化算法为图块分配码率：首先进行粗粒度分配以确保FoV质量，随后进行精细化调整以保持空间与时间一致性。
• 将基于DASH的流媒体与图块级编码及动态码率自适应相结合，支持自适应质量传输。
• 通过优先分配带宽预加载相关图块，确保在突发视场变化时仍能实现平滑过渡与高视觉质量。

实验结果

研究问题

• RQ1 如何优化码率自适应，以在360度视频流中平衡缓冲区稳定性与视频质量？
• RQ2 在动态观看场景中，FoV预测能在多大程度上减少视场切换延迟并提升QoE？
• RQ3 基于用户观看概率的图块优先级分配，如何提升带宽效率与视觉一致性？
• RQ4 空间与时间平滑性对360度视频传输中感知视频质量有何影响？
• RQ5 所提出的两阶段优化在不同网络条件与用户行为下，如何优于现有方法以维持FoV质量与一致性？

主要发现

• 所提方法在FoV PSNR标准差（Std）与时间差异方面均最低，表明其具有更优的时间平滑性。
• 在所有测试场景中，包括5%、10%与20%的突发视场切换概率下，所提方法的F值（综合质量与平滑性的指标）最小。
• 在真实网络条件下，所提方法实现了最高的加权PSNR，并通过视觉与定量分析验证了其在空间与时间平滑性方面的最佳表现。
• 在QoE度量标准（16）下，以15秒缓冲区为参考，所提方法获得了最高的QoE得分，优于AdpaA、PD与AA方法。
• 即使在突发视场切换情况下，所提方法仍保持最低的F值与最高的QoE，表明其在AerialCity、DrivingInCountry与PoleVault等多样化视频内容中具备强鲁棒性。
• 该方法在FoV质量、空间一致性与时间平滑性之间实现了最佳权衡，而PD方法因缺乏预加载图块，在突发切换下表现较差。