[论文解读] Towards Generative Video Compression

Fabian Mentzer, Eirikur Agustsson+4 more|arXiv (Cornell University)|Jul 26, 2021

Advanced Image Processing Techniques参考文献 30被引用 6

一句话总结

本文提出了一种基于生成对抗网络（GAN）的神经视频压缩框架，其性能超越了以往的神经方法，并在用户研究中达到与HEVC相当的水平。该方法通过基于光谱分析的随机偏移与反偏移机制，缓解了时间误差累积问题，实现了高保真度、高效率的视频压缩，同时提升了主观视觉质量。

ABSTRACT

We present a neural video compression method based on generative adversarial networks (GANs) that outperforms previous neural video compression methods and is comparable to HEVC in a user study. We propose a technique to mitigate temporal error accumulation caused by recursive frame compression that uses randomized shifting and un-shifting, motivated by a spectral analysis. We present in detail the network design choices, their relative importance, and elaborate on the challenges of evaluating video compression methods in user studies.

研究动机与目标

• 开发一种神经视频压缩方法，实现与HEVC相当的主观视觉质量，同时利用深度学习技术。
• 缓解端到端视频压缩中递归压缩帧导致的时间误差累积问题，这是该领域的一个关键挑战。
• 设计一种生成对抗框架，以提升视觉保真度与压缩效率。
• 通过用户研究评估视频压缩性能，解决主观评价中的方法论挑战。

提出的方法

• 该方法采用生成对抗网络（GAN）架构，通过在重建帧上进行对抗性训练，实现端到端的视频压缩学习。
• 提出了一种随机偏移与反偏移机制，以破坏帧间误差传播，减少时间误差累积。
• 该技术基于对误差模式的光谱分析，指导偏移策略的设计，以保留高频内容。
• 网络架构包含独立的空间与时间特征编码器，以及一个从潜在码本生成高质量帧的生成器。
• 判别器经过训练，可区分真实帧与重建帧，从而推动输出结果更逼真，提升主观视觉质量。
• 该框架支持可变速率压缩，并在率失真性能与主观质量之间实现优化。

实验结果

研究问题

• RQ1 如何有效应用生成对抗网络于视频压缩，以提升主观视觉质量？
• RQ2 哪些机制可减少在递归压缩视频序列中的时间误差累积？
• RQ3 所提出的偏移与反偏移策略相较于标准循环压缩方法，在视觉保真度方面表现如何？
• RQ4 学习型视频压缩模型在用户研究中能在多大程度上达到或超越HEVC的性能？

主要发现

• 所提方法在客观指标与主观用户评估中均优于以往的神经视频压缩方法。
• 随机偏移与反偏移技术显著减少了时间误差累积，经由重建误差的光谱分析得到验证。
• 用户研究表明，该模型的输出在主观感知上与HEVC相当，后者是领先的传统编码器。
• 该方法在保持高主观质量的同时，实现了具有竞争力的率失真性能，尤其在复杂运动与纹理区域表现更优。