[论文解读] Region-of-Interest Based Neural Video Compression

Yura Perugachi-Diaz, Guillaume Sautière+4 more|arXiv (Cornell University)|Mar 3, 2022

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出了两种新颖的神经视频压缩框架，通过利用ROI掩码自适应分配比特，优先提升感兴趣区域（ROI）的质量。隐式模型在训练过程中弱化了背景失真，而显式潜在缩放模型则使用学习得到的增益张量来控制每个空间区域的量化比特宽度。两种方法均在无需训练时使用像素级ROI标注的情况下，显著提升了ROI区域的率失真性能，在DAVIS数据集上优于现有基线方法，并具备跨数据集的泛化能力。

ABSTRACT

Humans do not perceive all parts of a scene with the same resolution, but rather focus on few regions of interest (ROIs). Traditional Object-Based codecs take advantage of this biological intuition, and are capable of non-uniform allocation of bits in favor of salient regions, at the expense of increased distortion the remaining areas: such a strategy allows a boost in perceptual quality under low rate constraints. Recently, several neural codecs have been introduced for video compression, yet they operate uniformly over all spatial locations, lacking the capability of ROI-based processing. In this paper, we introduce two models for ROI-based neural video coding. First, we propose an implicit model that is fed with a binary ROI mask and it is trained by de-emphasizing the distortion of the background. Secondly, we design an explicit latent scaling method, that allows control over the quantization binwidth for different spatial regions of latent variables, conditioned on the ROI mask. By extensive experiments, we show that our methods outperform all our baselines in terms of Rate-Distortion (R-D) performance in the ROI. Moreover, they can generalize to different datasets and to any arbitrary ROI at inference time. Finally, they do not require expensive pixel-level annotations during training, as synthetic ROI masks can be used with little to no degradation in performance. To the best of our knowledge, our proposals are the first solutions that integrate ROI-based capabilities into neural video compression models.

研究动机与目标

• 为解决神经视频编码器中统一比特分配的局限性，该局限性未能优先考虑如人类中央凹区域等感知重要区域。
• 通过在学习过程中引入ROI感知，实现神经视频压缩中的非均匀率失真优化。
• 设计可在无需训练时使用真实像素级标注的情况下，跨数据集和ROI规格良好泛化的模型。
• 在保持计算效率的同时，实现优于现有神经及传统编码器的ROI特定率失真性能。

提出的方法

• 隐式ROI模型通过引入背景惩罚超参数γ，采用修改后的失真损失进行训练，以弱化背景区域的影响。
• 显式潜在缩放模型引入一个由辅助自编码器从ROI掩码生成的增益张量，用于调节每个空间区域潜在特征的量化比特宽度。
• 该增益张量作为标量量化中离散掩码的连续可学习等效物，实现对量化分辨率的细粒度控制。
• 两种模型均基于尺度空间流（Scale Space Flow, SSF）架构，且与基于超先验的视频压缩框架兼容。
• 模型采用直通梯度估计与加性均匀噪声进行可微量化，支持端到端训练。
• 训练过程中使用合成ROI掩码，性能下降极小，实现无标注训练。

实验结果

研究问题

• RQ1 神经视频编码器能否通过在训练中学习优先处理感兴趣区域（ROI），实现ROI区域更优的率失真性能？
• RQ2 如何在不依赖昂贵像素级标注的情况下，将基于ROI的压缩集成到神经视频编码器中？
• RQ3 所提出的模型是否能在推理时泛化至不同数据集和ROI规格，而无需重新训练？
• RQ4 与标准基线相比，引入ROI感知压缩在神经视频编码器中的计算开销如何？
• RQ5 显式潜在缩放机制与基于损失的隐式弱化方法相比，在ROI质量与率失真权衡方面表现如何？

主要发现

• 所提出的隐式与显式ROI模型在DAVIS数据集上实现了69.3%的BD-rate增益，ROI-PSNR显著优于基线模型。
• 模型在推理时对不同数据集和ROI规格具有良好的泛化能力，即使在使用合成ROI掩码训练的情况下亦然。
• 使用合成ROI掩码训练可获得与使用真实掩码相当的视觉与定量性能，证实弱监督带来的性能下降可忽略。
• 潜在缩放模型的运行时开销适中，720p输入下I帧编码FPS下降17%，解码FPS下降24%，相比基线SSF。
• 显式潜在缩放模型在量化分辨率控制方面表现更优，尤其在低比特率下ROI质量显著优于隐式模型。
• 两种模型在ROI区域保持高感知质量的同时，更显著地扭曲背景，符合人类视觉系统特性。