[论文解读] Neural Video Coding using Multiscale Motion Compensation and Spatiotemporal Context Model

Haojie Liu, Ming Lu+5 more|arXiv (Cornell University)|Jul 9, 2020

Advanced Image Processing Techniques参考文献 44被引用 4

一句话总结

该论文提出了一种端到端神经视频编码框架（NVC），通过金字塔解码器实现多尺度运动补偿，并引入一种新型多尺度运动补偿网络（MS-MCN），结合自适应时空上下文建模与非局部注意力机制，显著提升了率失真性能。NVC在各类视频序列中均一致优于H.265/HEVC及其他学习型视频编码器，PSNR的平均BD-rate节省达-50.83%，MS-SSIM的平均BD-rate节省达-46.52%。

ABSTRACT

Over the past two decades, traditional block-based video coding has made remarkable progress and spawned a series of well-known standards such as MPEG-4, H.264/AVC and H.265/HEVC. On the other hand, deep neural networks (DNNs) have shown their powerful capacity for visual content understanding, feature extraction and compact representation. Some previous works have explored the learnt video coding algorithms in an end-to-end manner, which show the great potential compared with traditional methods. In this paper, we propose an end-to-end deep neural video coding framework (NVC), which uses variational autoencoders (VAEs) with joint spatial and temporal prior aggregation (PA) to exploit the correlations in intra-frame pixels, inter-frame motions and inter-frame compensation residuals, respectively. Novel features of NVC include: 1) To estimate and compensate motion over a large range of magnitudes, we propose an unsupervised multiscale motion compensation network (MS-MCN) together with a pyramid decoder in the VAE for coding motion features that generates multiscale flow fields, 2) we design a novel adaptive spatiotemporal context model for efficient entropy coding for motion information, 3) we adopt nonlocal attention modules (NLAM) at the bottlenecks of the VAEs for implicit adaptive feature extraction and activation, leveraging its high transformation capacity and unequal weighting with joint global and local information, and 4) we introduce multi-module optimization and a multi-frame training strategy to minimize the temporal error propagation among P-frames. NVC is evaluated for the low-delay causal settings and compared with H.265/HEVC, H.264/AVC and the other learnt video compression methods following the common test conditions, demonstrating consistent gains across all popular test sequences for both PSNR and MS-SSIM distortion metrics.

研究动机与目标

• 为解决传统基于块的视频编码方法依赖人工设计工具且受摩尔定律收益递减限制的局限性，提出一种端到端的深度学习视频编码框架。
• 通过引入具有金字塔解码器的多尺度运动补偿网络（MS-MCN），提升大运动矢量下的帧间预测精度与鲁棒性，实现多尺度光流的生成。
• 通过结合空间、时间与超先验信息的自适应上下文模型，建模运动信息中的时空相关性，提升熵编码效率。
• 通过多帧训练策略，最小化多个连续P帧的重建损失，减轻预测编码中的时序误差传播。
• 通过联合优化帧内、运动与残差编码组件，实现优于现有学习型视频编码器及H.265/HEVC等标准编解码器的率失真性能。

提出的方法

• NVC框架采用三个独立的变分自编码器（VAE）分别对神经帧内、神经运动与神经残差进行压缩，实现端到端的像素、运动与残差信息编码。
• 提出一种新型多尺度运动补偿网络（MS-MCN），用于在多尺度上估计与补偿运动，生成多尺度光流场，提升大运动矢量的预测精度。
• 神经运动VAE中的金字塔解码器可实现运动特征的分层表示，支持高效的多尺度光流估计与重建。
• 设计了一种自适应时空上下文模型，通过联合建模空间上下文、前一帧的时间上下文以及VAE瓶颈中的超先验信息，提升熵编码效率。
• 在VAE瓶颈处集成非局部注意力模块（NLAM），以隐式方式提取具有全局与局部感受野的自适应特征，增强表征能力。
• 采用多模块优化与多帧训练策略，通过联合优化多个连续P帧的重建损失，最小化时序误差传播。

实验结果

研究问题

• RQ1 基于深度神经网络的视频编码框架是否能在率失真效率上超越H.265/HEVC等传统基于块的编解码器？
• RQ2 结合金字塔解码器的多尺度运动补偿是否能显著提升运动估计与预测精度，特别是在大运动矢量场景下？
• RQ3 自适应时空上下文模型是否能通过结合时间先验信息，超越仅依赖空间上下文与超先验的熵编码效率？
• RQ4 多帧训练在多大程度上可减少时序误差传播并提升预测编码中的稳定性？
• RQ5 在VAE瓶颈处集成非局部注意力模块对视频特征的表征质量与压缩效率有何影响？

主要发现

• 与H.265/HEVC相比，NVC在所有测试序列中实现了PSNR平均BD-rate节省-50.83%与MS-SSIM平均BD-rate节省-46.52%，表现出持续优越性。
• 所提出的MS-MCN结合金字塔解码器在多种比特率下均优于单尺度运动补偿结合级联去噪网络的方案，PSNR提升达0.2–0.3 dB。
• 多帧训练显著提升了时序稳定性与性能一致性，相比单帧训练，有效减少了GOP内质量退化。
• 在高运动内容中，运动信息压缩最受益于时间先验，HEVC Class E数据集中比特率最高可节省58.63%。
• 自适应时空上下文模型通过高效建模空间、时间与超先验之间的相关性，显著降低了运动信息的比特率，尤其在高运动序列中效果显著。
• 非局部注意力模块通过捕捉长距离依赖关系，增强了特征表征能力，从而提升了重建质量与编码效率。