[论文解读] NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling

Shishira R Maiya, Sharath Girish+7 more|arXiv (Cornell University)|Dec 30, 2022

Advanced Image Processing Techniques被引用 4

一句话总结

NIRVANA 提出了一种可扩展的、自回归的神经隐式视频表示方法，通过在时间片段内逐块预测来建模视频，利用自适应量化权重从先前片段初始化每个片段的网络。该方法在保持高重建质量的同时，实现了12倍的编码速度提升和可变比特率压缩，在UVG数据集上达到37.70 PSNR，优于以往方法。

ABSTRACT

Implicit Neural Representations (INR) have recently shown to be powerful tool for high-quality video compression. However, existing works are limiting as they do not explicitly exploit the temporal redundancy in videos, leading to a long encoding time. Additionally, these methods have fixed architectures which do not scale to longer videos or higher resolutions. To address these issues, we propose NIRVANA, which treats videos as groups of frames and fits separate networks to each group performing patch-wise prediction. This design shares computation within each group, in the spatial and temporal dimensions, resulting in reduced encoding time of the video. The video representation is modeled autoregressively, with networks fit on a current group initialized using weights from the previous group's model. To further enhance efficiency, we perform quantization of the network parameters during training, requiring no post-hoc pruning or quantization. When compared with previous works on the benchmark UVG dataset, NIRVANA improves encoding quality from 37.36 to 37.70 (in terms of PSNR) and the encoding speed by 12X, while maintaining the same compression rate. In contrast to prior video INR works which struggle with larger resolution and longer videos, we show that our algorithm is highly flexible and scales naturally due to its patch-wise and autoregressive designs. Moreover, our method achieves variable bitrate compression by adapting to videos with varying inter-frame motion. NIRVANA achieves 6X decoding speed and scales well with more GPUs, making it practical for various deployment scenarios.

研究动机与目标

• 为解决现有隐式神经表示（INR）方法在视频压缩中效率低下且缺乏可扩展性的问题，这些方法存在编码时间长和架构固定的问题。
• 通过在帧组之间建模块块而非像素或完整帧，利用视频中的时空冗余。
• 通过自适应的自回归网络初始化和量化，实现对不同分辨率、时长和运动复杂度视频的灵活压缩。
• 通过在训练过程中集成量化，实现无需后处理剪枝或量化的高效率压缩。
• 通过提升解码速度和跨GPU的可扩展性，使基于INR的视频压缩在实际部署中更具可行性。

提出的方法

• 该方法将视频分割为时间片段（帧组），并为每个片段拟合一个独立的神经网络，用于对时空体积进行逐块预测。
• 每个网络通过前一个片段网络的训练权重进行初始化，实现利用时间一致性的自回归建模。
• 该框架在训练期间对网络权重进行量化，消除了对后处理压缩技术的需求，降低了模型熵。
• 通过编码连续片段网络之间的残差进一步压缩模型，熵正则化控制PSNR-BPP权衡。
• 该架构与分辨率无关：使用块坐标作为输入，无需修改架构即可适应不同空间分辨率。
• 训练使用包含量化权重熵正则化项的损失函数，以最小化比特率。

实验结果

研究问题

• RQ1 与以往基于像素或帧的方法相比，自回归的、逐块的INR框架是否能提升视频表示的编码速度和压缩效率？
• RQ2 对特定片段网络进行自回归初始化在不同视频时长和分辨率下如何影响模型性能和可扩展性？
• RQ3 在训练过程中进行网络内量化在多大程度上可以消除对后处理模型压缩的需求，同时保持高重建质量？
• RQ4 该方法如何适应不同的帧间运动？是否能自然实现可变比特率压缩？
• RQ5 块大小、组大小和训练迭代次数对视频INR压缩中PSNR-BPP权衡有何影响？

主要发现

• NIRVANA 在UVG数据集上实现了37.70的PSNR，比之前最先进方法（37.36）提升了0.34，同时保持相同的压缩率。
• 与以往基于INR的视频压缩方法相比，该方法将编码时间减少了12倍，显著提升了实用性。
• 解码速度提升了6倍，且在更多GPU上具有高效的可扩展性，使分布式环境下的推理更加快速。
• 将块大小从8×8增加到48×48可提升PSNR，但在动态场景中由于残差熵更高，导致BPP上升。
• 在0.8 BPP以下的比特率范围内，帧组大小为3时实现了最佳的PSNR-BPP权衡，更大的组大小在动态内容上会降低性能。
• 训练迭代次数增加至5000时，PSNR持续但边际提升，表明延长训练可增强重建质量而不增加比特率。