[论文解读] Spatiotemporal Entropy Model is All You Need for Learned Video Compression

Zhenhong Sun, Zhiyu Tan+5 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Data Compression Techniques参考文献 37被引用 6

一句话总结

本文提出了一种无运动预测的视频压缩（MFVC）框架，通过使用统一的自编码器和时空熵模型，直接对原始视频帧进行压缩，从而摒弃了运动预测模块。该方法在MS-SSIM指标下达到最先进性能，并在单一模型中实现可变码率控制，显著降低了复杂度和误差传播，同时保持了高效率的压缩性能。

ABSTRACT

The framework of dominant learned video compression methods is usually composed of motion prediction modules as well as motion vector and residual image compression modules, suffering from its complex structure and error propagation problem. Approaches have been proposed to reduce the complexity by replacing motion prediction modules with implicit flow networks. Error propagation aware training strategy is also proposed to alleviate incremental reconstruction errors from previously decoded frames. Although these methods have brought some improvement, little attention has been paid to the framework itself. Inspired by the success of learned image compression through simplifying the framework with a single deep neural network, it is natural to expect a better performance in video compression via a simple yet appropriate framework. Therefore, we propose a framework to directly compress raw-pixel frames (rather than residual images), where no extra motion prediction module is required. Instead, an entropy model is used to estimate the spatiotemporal redundancy in a latent space rather than pixel level, which significantly reduces the complexity of the framework. Specifically, the whole framework is a compression module, consisting of a unified auto-encoder which produces identically distributed latents for all frames, and a spatiotemporal entropy estimation model to minimize the entropy of these latents. Experiments showed that the proposed method outperforms state-of-the-art (SOTA) performance under the metric of multiscale structural similarity (MS-SSIM) and achieves competitive results under the metric of PSNR.

研究动机与目标

• 解决现有基于学习的视频压缩框架中依赖运动预测模块所导致的固有复杂性和误差传播问题。
• 探究是否可借鉴成功的学习图像压缩方法，构建一种简化框架，在视频压缩中实现具有竞争力的性能。
• 开发一种统一的压缩框架，直接对原始像素帧进行编码，无需残差或运动矢量压缩模块。
• 在单一模型中实现可变码率控制，克服以往方法中固定码率的局限性。
• 证明时空冗余可通过潜在表示上的联合熵估计机制得到有效建模。

提出的方法

• 该框架使用单一统一的自编码器，为所有视频帧生成相同分布的潜在表示，绕过运动预测和残差压缩。
• 引入一种时空熵模型，结合联合超先验编码器-解码器、空间先验模块（SPM）和时间先验模块（TPM），以实现精确的熵估计。
• SPM通过利用相邻的潜在特征，对每帧内的空间冗余进行建模；TPM则在潜在空间中利用相邻帧之间的时间相关性。
• 使用由时空熵模型预测的概率对量化后的潜在变量进行算术编码，实现高效压缩。
• 模型采用端到端训练，损失函数为MSE，同时优化熵模型以最小化潜在变量的熵，从而降低比特率。
• 解码过程按帧独立进行，消除了对重建参考帧的依赖，避免了误差传播。

实验结果

研究问题

• RQ1 基于学习的视频压缩框架是否能在无运动预测模块的情况下实现SOTA性能？
• RQ2 统一的自编码器结合时空熵模型是否能有效建模视频序列中的空间与时间冗余？
• RQ3 通过消除运动预测和残差压缩，是否能降低复杂度和误差传播，同时保持或提升压缩效率？
• RQ4 能否在单一基于学习的视频压缩模型中，通过该框架实现可变码率控制？
• RQ5 空间先验模块与时间先验模块在单独和联合使用时，对熵估计精度和比特节省的贡献如何？

主要发现

• 所提出的MFVC框架在MS-SSIM指标下达到最先进性能，在UVG数据集上优于现有方法。
• 与I帧压缩（GOP大小为1）相比，比特节省达37.71%；当同时使用SPM和TPM时，比特减少35.15%。
• 时间先验模块（TPM）对比特节省贡献最大，相比基线减少16.39%的比特。
• 空间先验模块（SPM）贡献6.95%的比特节省，尤其在轮廓和背景区域显著降低熵。
• 尽管通道容量更高，该方法将编码时间减少3–4倍，解码时间减少30%，相比DVC和HLVC。
• 该框架在单一模型中实现了可变码率控制，是学习视频压缩领域的首次实现，展示了在率失真权衡上的灵活性。