[论文解读] MuZero with Self-competition for Rate Control in VP9 Video Compression

Amol Mandhane, Anton Zhernov+17 more|arXiv (Cornell University)|Feb 14, 2022

Advanced Wireless Network Optimization被引用 13

一句话总结

该论文提出 MuZero-RC，一种基于强化学习的 VP9 视频压缩码率控制方法，采用新颖的自竞争奖励机制，以优化视频质量与码率约束之间的权衡。与 libvpx 的标准两轮 VBR 码率控制相比，其平均码率降低了 6.28%（以 PSNR BD-rate 衡量），在码率约束满足度和多样化视频内容下的规划能力方面表现更优。

ABSTRACT

Video streaming usage has seen a significant rise as entertainment, education, and business increasingly rely on online video. Optimizing video compression has the potential to increase access and quality of content to users, and reduce energy use and costs overall. In this paper, we present an application of the MuZero algorithm to the challenge of video compression. Specifically, we target the problem of learning a rate control policy to select the quantization parameters (QP) in the encoding process of libvpx, an open source VP9 video compression library widely used by popular video-on-demand (VOD) services. We treat this as a sequential decision making problem to maximize the video quality with an episodic constraint imposed by the target bitrate. Notably, we introduce a novel self-competition based reward mechanism to solve constrained RL with variable constraint satisfaction difficulty, which is challenging for existing constrained RL methods. We demonstrate that the MuZero-based rate control achieves an average 6.28% reduction in size of the compressed videos for the same delivered video quality level (measured as PSNR BD-rate) compared to libvpx's two-pass VBR rate control policy, while having better constraint satisfaction behavior.

研究动机与目标

• 为解决 VP9 编码中学习最优码率控制策略的挑战，即在固定码率预算下选择量化参数（QPs）以最大化视频质量。
• 克服传统启发式码率控制方法的局限性，后者依赖手工设计的模型，在多样化视频内容中难以应对复杂且非线性的码率-失真权衡。
• 开发一种强化学习框架，能够在黑箱视频编码器环境中实现序列决策，同时满足周期性约束。
• 相比 libvpx 的确定性 VBR 策略，提升码率约束满足度，后者常导致目标码率超限。
• 通过设计与编码器特定细节无关的方法，实现向其他视频编码标准、质量度量指标或约束类型（如最低质量目标）的泛化。

提出的方法

• 该方法将码率控制建模为序列决策问题，智能体为每帧选择 QP 值，以在码率约束下最大化视频质量。
• 采用 MuZero 算法，端到端学习世界模型与规划策略，无需环境可微分。
• 提出一种新颖的自竞争奖励机制：智能体在相同视频-目标码率对上与自身历史表现竞争，生成动态自适应基线以实现奖励塑形。
• 奖励计算为当前性能（PSNR）与同一视频-目标码率对的历史平均性能之差，激励随时间持续改进。
• 系统在 YouTube UGC 数据集的 3062 个五秒片段上进行训练，每个 [视频, 目标码率] 对被多次编码，以稳定自竞争基线。
• 最终策略通过 libvpx 的 SimpleEncode API 部署，实现与现有视频流媒体管道的直接集成。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在类似 libvpx 的黑箱视频编码器环境中有效学习码率控制策略？
• RQ2 当不同视频的约束满足难度不同时，基于自竞争的奖励机制是否能提升约束强化学习的性能？
• RQ3 MuZero-RC 智能体是否在更低码率下实现比 libvpx 的两轮 VBR 码率控制更高的视频质量？
• RQ4 智能体是否能在提升整体编码效率的同时，维持更紧密的码率约束遵守？
• RQ5 该方法是否能泛化至其他编码标准、质量度量指标或约束类型（如最低质量目标）？

主要发现

• MuZero-RC 在 3062 个视频片段上与 libvpx 的两轮 VBR 码率控制相比，实现了 6.28% 的平均码率降低（以 PSNR BD-rate 衡量）。
• 智能体表现出显著更优的码率约束满足度：仅 2.04% 的视频码率超出目标值 5% 以上，而 libvpx 为 64.00%。
• MuZero-RC 有 84.14% 的视频码率在目标值的 5% 以内，而 libvpx 为 71.34%，表明其具有更优的约束遵守能力。
• 智能体展现出改进的规划行为，例如提前节省码率以在高运动帧中保持质量，避免单帧出现极端 PSNR 下降。
• 在接近结尾处发生场景切换的情况下，MuZero-RC 会预判对更高画质的需求并主动分配码率，而 libvpx 通常会因码率耗尽而表现不佳。
• 自竞争机制即使在具有变化且复杂的码率-失真动态的环境中，也能实现稳定训练与有效探索。