[论文解读] Real-world Video Adaptation with Reinforcement Learning

Hongzi Mao, Shannon Chen+6 more|arXiv (Cornell University)|Aug 28, 2020

Image and Video Quality Assessment参考文献 32被引用 44

一句话总结

本文提出 ABRL，一种基于强化学习的自适应码率系统，部署在 Facebook 的生产网页平台上，通过自定义的网络感知架构、方差降低训练，以及受约束的贝叶斯优化来克服现实世界挑战，并超越手工调优的 ABR 策略。

ABSTRACT

Client-side video players employ adaptive bitrate (ABR) algorithms to optimize user quality of experience (QoE). We evaluate recently proposed RL-based ABR methods in Facebook's web-based video streaming platform. Real-world ABR contains several challenges that requires customized designs beyond off-the-shelf RL algorithms -- we implement a scalable neural network architecture that supports videos with arbitrary bitrate encodings; we design a training method to cope with the variance resulting from the stochasticity in network conditions; and we leverage constrained Bayesian optimization for reward shaping in order to optimize the conflicting QoE objectives. In a week-long worldwide deployment with more than 30 million video streaming sessions, our RL approach outperforms the existing human-engineered ABR algorithms.

研究动机与目标

• 推动创建能够在现实世界、大规模流媒体中击败启发式策略的生产级 ABR 算法。
• 构建支持任意码率编码的视频的可扩展 RL 架构。
• 设计训练方法以应对随机网络条件和性能反馈中的方差。
• 通过约束优化和奖励塑形来共同优化多个 QoE 目标。
• 将学习到的策略转化为可解释的形式，以实现前端安全部署。

提出的方法

• 构建一个模拟器，建模回放缓冲区动态并记录逐块的网络和码率数据。
• 使用策略梯度强化学习框架，神经网络策略输出每个码率的优先值并对码率进行 softmax。
• 采用输入相关基线以降低由随机网络轨迹和视频观看时间导致的奖励方差。
• 将奖励塑形表述为约束的多目标优化，由带高斯过程代理和嘈杂期望改进的贝叶斯优化来求解。
• 将学习到的神经策略转化为可解释的线性模型以用于前端部署。
• 将翻译后的策略部署在 Facebook 的生产平台上，并通过对约3000万会话的 A/B 测试进行评估。

实验结果

研究问题

• RQ1 RL 基于 ABR 的策略是否能在大规模生产环境中超过现有的启发式 ABR 算法？
• RQ2 如何训练 ABR 策略以在多样的网络轨迹和视频时长下具备鲁棒性？
• RQ3 哪些奖励塑形和方差降低技术可在生产环境中实现 ABR 的稳定 RL 训练？
• RQ4 将学习到的策略转化为可解释形式对部署安全性和可维护性有何影响？

主要发现

• ABRL 相较于生产 ABR 策略，平均比特率提升了 1.6%。
• 在为期一周、全球部署中，ABRL 的卡顿率平均下降了 0.4%。
• 在慢网络条件下，ABRL 提供了 5.9% 更高的比特率和 2.4% 更少的卡顿。
• 通过输入相关基线进行方差降低使总奖励提升约 12%，并加速收敛。
• 将策略翻译为线性模型在仿真中导致约 0.8% 更差的卡顿和 0.6% 更差的质量，反映了可解释性与安全性之间的权衡。