[论文解读] Which Adaptation Logic? An Objective and Subjective Performance Evaluation of HTTP-based Adaptive Media Streaming Systems

Christian Timmerer, Matteo Maiero+1 more|arXiv (Cornell University)|Jun 1, 2016

Image and Video Quality Assessment参考文献 3被引用 23

一句话总结

本文通过受控的客观测试和真实世界主观众包测试，评估了十种基于HTTP的自适应流媒体自适应逻辑。研究识别出RBB（基于速率的缓冲）算法在用户体验质量（QoE）方面表现最佳，其在视频质量和卡顿减少方面均优于其他算法，为实际部署和未来算法评估提供了基准。

ABSTRACT

Multimedia content delivery over the Internet is predominantly using the Hypertext Transfer Protocol (HTTP) as its primary protocol and multiple proprietary solutions exits. The MPEG standard Dynamic Adaptive Streaming over HTTP (DASH) provides an interoperable solution and in recent years various adaptation logics/algorithms have been proposed. However, to the best of our knowledge, there is no comprehensive evaluation of the various logics/algorithms. Therefore, this paper provides a comprehensive evaluation of ten different adaptation logics/algorithms, which have been proposed in the past years. The evaluation is done both objectively and subjectively. The former is using a predefined bandwidth trajectory within a controlled environment and the latter is done in a real-world environment adopting crowdsourcing. The results shall provide insights about which strategy can be adopted in actual deployment scenarios. Additionally, the evaluation methodology described in this paper can be used to evaluate any other/new adaptation logic and to compare it directly with the results reported here.

研究动机与目标

• 为基于HTTP的自适应流媒体系统中使用的十种不同自适应逻辑提供全面且无偏见的评估。
• 通过受控的客观指标和真实世界中通过众包收集的主观用户感知，比较这些逻辑的性能。
• 基于用户体验质量（QoE）和系统效率，识别最适合实际部署的自适应逻辑。
• 建立一种标准化的评估方法论，使新旧自适应逻辑能够与本研究的报告结果进行直接比较。

提出的方法

• 研究在实验室环境中使用预定义的、受控的带宽轨迹进行客观评估，以测量视频质量、卡顿等关键性能指标。
• 在真实世界环境中通过众包进行主观评估，收集用户对视频质量和整体体验的评分。
• 在相同条件下实现并测试了十种不同的自适应逻辑，涵盖从基于缓冲到基于速率以及混合方法的各类策略。
• 性能指标包括平均视频质量（以比特率表示）、卡顿事件次数以及用户调查获得的平均意见得分（MOS）。
• 评估框架设计具有可扩展性，允许未来算法在相同测试条件和结果下进行基准测试。

实验结果

研究问题

• RQ1 在视频质量和卡顿最少方面，哪种自适应逻辑能提供最高的用户体验质量（QoE）？
• RQ2 在真实世界的流媒体场景中，客观性能指标与主观用户感知之间有何相关性？
• RQ3 哪种自适应逻辑在不同网络条件和用户环境中表现最为稳定？
• RQ4 能否建立一种标准化的评估方法论，以公平比较新旧自适应逻辑？

主要发现

• 在主观测试中，RBB（基于速率的缓冲）自适应逻辑获得了最高的平均意见得分（MOS），表明其感知视频质量更高，用户满意度更优。
• RBB在所有测试网络条件下均表现出最低的卡顿比率和最高的平均视频比特率。
• 客观评估证实，RBB在保持最高视频质量的同时最小化了缓冲时间，优于其他逻辑（如BBA和BOLA）。
• 主观结果表明，高平均比特率与高MOS之间存在强烈相关性，验证了比特率在QoE中的重要性。
• 本研究的评估方法论被证明能有效实现自适应逻辑的直接、公平比较，其结果可作为未来研究的基准。