[论文解读] Rate Model for Compressed Video Considering Impacts Of Spatial, Temporal and Amplitude Resolutions and Its Applications for Video Coding and Adaptation

Zhan Ma, Hao Hu+2 more|arXiv (Cornell University)|Jun 12, 2012

Video Coding and Compression Technologies参考文献 8被引用 5

一句话总结

本文提出了一种新颖的压缩视频速率模型，该模型联合建模空间分辨率、时间分辨率和幅度（量化）分辨率对比特率的影响，将三者的影响表示为三个幂函数的乘积。该模型在多种编码场景下均实现了高精度（平均皮尔逊相关系数 >0.99），并可在视频编码和可伸缩视频自适应中实现最优的速率-质量权衡，通过内容特征预测模型参数。

ABSTRACT

In this paper, we investigate the impacts of spatial, temporal and amplitude resolution (STAR) on the bit rate of a compressed video. We propose an analytical rate model in terms of the quantization stepsize, frame size and frame rate. Experimental results reveal that the increase of the video rate as the individual resolution increases follows a power function. Hence, the proposed model expresses the rate as the product of power functions of the quantization stepsize, frame size and frame rate, respectively. The proposed rate model is analytically tractable, requiring only four content dependent parameters. We also propose methods for predicting the model parameters from content features that can be computed from original video. Simulation results show that model predicted rates fit the measured data very well with high Pearson correlation (PC) and small relative root mean square error (RRMSE). The same model function works for different coding scenarios (including scalable and non-scalable video, temporal prediction using either hierarchical B or IPPP structure, etc.) with very high accuracy (average PC $>$ 0.99), but the values of model parameters differ. Using the proposed rate model and the quality model introduced in a separate work, we show how to optimize the STAR for a given rate constraint, which is important for both encoder rate control and scalable video adaptation. Furthermore, we demonstrate how to order the spatial, temporal and amplitude layers of a scalable video in a rate-quality optimized way.

研究动机与目标

• 开发一种统一的分析性速率模型，以捕捉空间、时间与幅度分辨率对压缩视频比特率的联合影响。
• 实现在视频编码和可伸缩视频自适应中的精确速率控制与质量优化。
• 无需离线训练，即可从内容特征高效预测模型参数。
• 支持在可伸缩视频编码中实现速率-质量优化的层序排列。

提出的方法

• 该速率模型将比特率表示为帧尺寸（空间分辨率）、帧率（时间分辨率）和量化步长（幅度分辨率）的三个幂函数的乘积。
• 该模型基于实验数据推导得出，表明比特率随各分辨率参数的增加遵循幂律关系。
• 使用四个与内容相关的参数拟合该模型，包括最大比特率和每个分辨率维度的三个指数。
• 利用从原始视频中提取的三个内容特征（如活动度、复杂度、运动量）的加权和来预测模型参数。
• 提出一种前向与后向的层序排列算法，用于为可伸缩视频流生成速率-质量优化的层序列。
• 在多种编码结构（如层次化B帧、IPPP、可伸缩与非可伸缩结构）和视频序列上对模型进行了验证。

实验结果

研究问题

• RQ1 空间、时间与幅度分辨率如何联合影响压缩视频的比特率？
• RQ2 单一分析性速率模型能否在多种视频编码配置下准确描述比特率？
• RQ3 能否在无需离线训练的情况下，仅从内容特征预测模型参数？
• RQ4 如何利用所提出的速率模型在固定比特率约束下优化视频质量？
• RQ5 在可伸缩视频流中，如何最优地排列图层以在给定速率下最大化质量？

主要发现

• 所提出的速率模型在所有测试的视频序列和编码配置中，预测比特率与实测比特率之间的平均皮尔逊相关系数 >0.99。
• 该模型在不同编码结构（包括可伸缩与非可伸缩视频，以及各种时间预测方案）下均保持高精度（平均RRMSE较小）。
• 仅通过从原始视频中提取的三个内容特征，即可高精度预测模型参数（平均预测相关系数 >0.99）。
• 后向层序排列算法生成的速率-质量点分布比前向方法更均匀，提升了自适应的灵活性。
• 将所提出的速率模型与质量模型结合，可实现对空间、时间与幅度分辨率的分析式优化，从而在速率约束下获得最大感知质量。
• 该模型具有良好的泛化能力，已验证适用于多种分辨率（如720p、WVGA）以及测试序列之外的视频内容。