[论文解读] VIDOSAT: High-dimensional Sparsifying Transform Learning for Online Video Denoising

Bihan Wen, Saiprasad Ravishankar+1 more|arXiv (Cornell University)|Oct 3, 2017

Image and Signal Denoising Methods参考文献 40被引用 3

一句话总结

本文提出 VIDOSAT，一种在线视频去噪框架，能够实时从时空视频块中学习高维稀疏化变换。通过利用在线变换学习并可选地结合块匹配进行运动补偿，VIDOSAT 实现了最先进的去噪性能，在多个数据集上的平均 PSNR 相较于 VBM3D、VBM4D 和固定 3D DCT 提升高达 3.5 dB。

ABSTRACT

Techniques exploiting the sparsity of images in a transform domain have been effective for various applications in image and video processing. Transform learning methods involve cheap computations and have been demonstrated to perform well in applications such as image denoising and medical image reconstruction. Recently, we proposed methods for online learning of sparsifying transforms from streaming signals, which enjoy good convergence guarantees, and involve lower computational costs than online synthesis dictionary learning. In this work, we apply online transform learning to video denoising. We present a novel framework for online video denoising based on high-dimensional sparsifying transform learning for spatio-temporal patches. The patches are constructed either from corresponding 2D patches in successive frames or using an online block matching technique. The proposed online video denoising requires little memory, and offers efficient processing. Numerical experiments compare the performance to the proposed video denoising scheme but fixing the transform to be 3D DCT, as well as prior schemes such as dictionary learning-based schemes, and the state-of-the-art VBM3D and VBM4D on several video data sets, demonstrating the promising performance of the proposed methods.

研究动机与目标

• 解决动态场景中复杂运动下实时、高质量视频去噪的挑战。
• 克服固定变换（如 3D DCT）和视频恢复中昂贵的合成字典学习的局限性。
• 开发一种高效、在线学习的框架，使稀疏化变换能够自适应地匹配不断变化的视频内容。
• 通过自适应变换学习建模时空相关性，提升去噪性能。
• 实现内存高效、可扩展的视频去噪，适用于大数据和流媒体应用。

提出的方法

• 从连续视频帧中构建时空块，或通过在线块匹配捕捉运动。
• 使用流式视频数据，以在线方式学习高维稀疏化变换（W）。
• 通过 Wu 的阈值化处理高效计算稀疏码 x，避免 NP 难的合成编码。
• 采用具有收敛性保证的随机梯度下降方法，迭代更新变换 W。
• 将块匹配集成到学习流程中（VIDOSAT-BM），以在时空域中分组相似块。
• 对每个块应用学习到的变换，逐帧进行去噪并重建视频。

实验结果

研究问题

• RQ1 与固定变换（如 3D DCT）相比，在线稀疏化变换学习是否能提升视频去噪性能？
• RQ2 在速度、精度和内存使用方面，在线变换学习相较于基于字典学习的方法表现如何？
• RQ3 将块匹配整合到变换学习流程中，能在多大程度上提升具有运动视频的去噪效果？
• RQ4 所提出的方法能否在保持高 PSNR 的同时实现实时处理并具备低内存占用？
• RQ5 所学习的变换在时间上如何自适应动态视频内容？

主要发现

• VIDOSAT-BM 在所有测试视频和噪声水平下，相较 VBM3D 平均提升 3.5 dB PSNR，相较 VBM4D 提升 2.1 dB，相较 sKSVD 提升 1.2 dB。
• VIDOSAT-BM 在每一项视频和噪声水平下均持续优于所有对比方法，包括 VBM3D 和 VBM4D。
• VIDOSAT-BM 的平均 PSNR 比 VIDOSAT 高 0.3 dB，证明了块匹配在运动建模方面的优势。
• VIDOSAT 中学习到的变换随时间演化，表现出如深度方向上的线性偏移等自适应结构，可补偿运动。
• 在高度动态的视频（如 Bicycle）中，VIDOSAT-BM 显著优于 VIDOSAT 和 VBM4D，且帧间 PSNR 提升稳定。
• 视觉结果表明，VIDOSAT-BM 有效减少了运动区域的伪影，同时在静态区域保持了更优的细节，去噪质量超越 VBM4D 和 VBM3D。