[论文解读] NTIRE 2021 Challenge on Quality Enhancement of Compressed Video: Methods and Results

Ren Yang, Radu Timofte+70 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Image Processing Techniques参考文献 66被引用 4

一句话总结

本论文介绍了NTIRE 2021年压缩视频质量增强挑战赛，引入了大规模多样化视频（LDV）数据集，并在三个赛道上评估了482份提交结果：固定QP下的保真度增强（赛道1和3），以及固定比特率下的感知质量增强（赛道2）。采用时空网络结合门控融合、可变形卷积和多尺度注意力机制的方法取得了最先进性能，顶尖团队将PSNR提升至38.31 dB，MS-SSIM超过0.956。

ABSTRACT

This paper reviews the first NTIRE challenge on quality enhancement of compressed video, with a focus on the proposed methods and results. In this challenge, the new Large-scale Diverse Video (LDV) dataset is employed. The challenge has three tracks. Tracks 1 and 2 aim at enhancing the videos compressed by HEVC at a fixed QP, while Track 3 is designed for enhancing the videos compressed by x265 at a fixed bit-rate. Besides, the quality enhancement of Tracks 1 and 3 targets at improving the fidelity (PSNR), and Track 2 targets at enhancing the perceptual quality. The three tracks totally attract 482 registrations. In the test phase, 12 teams, 8 teams and 11 teams submitted the final results of Tracks 1, 2 and 3, respectively. The proposed methods and solutions gauge the state-of-the-art of video quality enhancement. The homepage of the challenge: https://github.com/RenYang-home/NTIRE21_VEnh

研究动机与目标

• 使用大规模、多样化的视频数据集，在多样的压缩条件下建立视频质量增强的基准。
• 评估提升压缩视频保真度（PSNR）和感知质量的方法。
• 在固定QP和固定比特率压缩设置下，对比最先进方法的性能。
• 推动在视频恢复研究中使用新引入的大规模多样化视频（LDV）数据集。
• 通过在统一、多样化且具有挑战性的测试集上实现标准化评估，推动该领域的发展。

提出的方法

• 提出三赛道挑战框架：赛道1和赛道3分别聚焦于固定QP和固定比特率下的保真度增强，赛道2则针对感知质量提升。
• 采用大规模多样化视频（LDV）数据集，包含240个视频，涵盖10种场景类别，涵盖运动、帧率、光照和摄像机稳定性等方面的差异。
• 使用结合门控融合机制的时空卷积网络，以利用视频序列中的空间与时间相关性。
• 集成可变形卷积与多尺度特征提取，以更好地处理运动和压缩伪影。
• 应用渐进对齐与数据增强技术，以提升训练稳定性和泛化能力。
• 采用3D卷积与U-Net架构，实现多帧残差学习与特征优化，用于视频增强。

实验结果

研究问题

• RQ1 时空深度学习模型在恢复高保真度与高感知质量的压缩视频方面效果如何？
• RQ2 多尺度与基于注意力的架构在压缩视频伪影抑制方面能提升到何种程度？
• RQ3 LDV数据集中内容、运动与帧率的多样性如何影响模型的泛化能力与性能表现？
• RQ4 不同网络设计（如门控融合、可变形卷积、3D卷积）在视频质量增强中的相对性能如何？
• RQ5 统一模型能否在固定QP与固定比特率压缩场景下均实现良好泛化？

主要发现

• 赛道1（固定QP下的保真度增强）中表现最佳的方法达到38.31 dB的PSNR，显著优于基线方法。
• 在赛道2（感知质量）中，最佳方法实现0.9562的MS-SSIM，表明与原始视频具有高度感知保真度。
• 赛道3（固定比特率）中，多个顶尖团队的PSNR值超过35 dB，表明在比特率受限条件下仍具高效恢复能力。
• 采用门控融合与可变形时间建模的方法始终优于标准视频超分基线模型。
• LDV数据集在评估模型泛化能力方面表现有效，顶尖模型在各类视频类别中均实现高性能。
• 挑战揭示，感知质量增强（赛道2）需要与基于保真度的增强不同的架构选择，其中注意力机制发挥了关键作用。