[论文解读] On learning optimized reaction diffusion processes for effective image restoration

Yunjin Chen, Wei Yu+1 more|arXiv (Cornell University)|Mar 19, 2015

Image and Signal Denoising Methods参考文献 30被引用 43

一句话总结

本文提出了一种可训练的非线性反应扩散模型用于图像复原，结合了可学习的线性滤波器和参数化的影响函数，通过基于损失的优化方法进行训练。该方法在计算效率方面表现出色，支持快速的GPU并行处理，在去噪和JPEG去块效应任务中均优于现有方法，实现了最先进的复原性能。

ABSTRACT

For several decades, image restoration remains an active research topic in low-level computer vision and hence new approaches are constantly emerging. However, many recently proposed algorithms achieve state-of-the-art performance only at the expense of very high computation time, which clearly limits their practical relevance. In this work, we propose a simple but effective approach with both high computational efficiency and high restoration quality. We extend conventional nonlinear reaction diffusion models by several parametrized linear filters as well as several parametrized influence functions. We propose to train the parameters of the filters and the influence functions through a loss based approach. Experiments show that our trained nonlinear reaction diffusion models largely benefit from the training of the parameters and finally lead to the best reported performance on common test datasets for image restoration. Due to their structural simplicity, our trained models are highly efficient and are also well-suited for parallel computation on GPUs.

研究动机与目标

• 开发一种计算高效且保持高复原质量的图像复原方法。
• 通过从数据中学习最优滤波器和影响函数，克服手工设计的PDE基扩散模型的局限性。
• 通过结构简单性及对并行GPU计算的适用性，实现出色的处理速度。
• 探究学习的影响函数在性能上是否能超越传统的鲁棒平滑函数。
• 在高斯去噪和JPEG去块效应的标准基准上展示最先进的结果。

提出的方法

• 该模型将传统反应扩散模型扩展为包含可学习的线性滤波器和参数化的影响函数。
• 滤波器和影响函数的参数通过监督损失优化框架进行端到端训练。
• 影响函数被学习为在零点以外具有多个极小值，从而实现结构增强而非简单平滑。
• 该模型采用多阶段架构，扩散步骤数量固定，每一步均应用学习到的滤波器和非线性操作。
• 由于依赖卷积运算且无需复杂变换，该框架支持高效的GPU实现。
• 该方法被分别应用于高斯去噪和JPEG去块效应任务，且为每项任务单独训练了模型。

实验结果

研究问题

• RQ1 可训练的反应扩散模型是否能在保持高计算效率的同时实现最先进的图像复原性能？
• RQ2 学习的影响函数与PDE基方法中使用的传统鲁棒函数有何不同？
• RQ3 该模型在去噪和去块效应等不同图像复原任务中是否具有良好的泛化能力？
• RQ4 与固定的手工设计模型相比，学习滤波器和非线性操作在多大程度上提升了模型性能？
• RQ5 该模型的运行时间与其它领先方法相比如何，尤其是在高分辨率图像上的表现？

主要发现

• 所提出的TRD模型在标准高斯去噪基准上实现了最佳报告的PSNR值，优于所有最先进的方法。
• 在JPEG去块效应任务中，TRD模型在质量因子分别为10、20和30时，分别取得了27.85、30.06和31.41的PSNR值，全面超越所有对比方法。
• 在GPU上处理1024×1024图像时，该模型运行时间约为0.095秒，显著快于次快方法（SADCT在CPU上约56.5秒）。
• 学习的影响函数在零点以外表现出多个极小值，从而实现对图像结构的自适应增强，而非均匀平滑。
• 该模型架构高度可并行化，在单线程CPU上也表现出高效率，其速度优于许多非局部方法。
• 该模型展现出强大的泛化能力，仅通过极少的架构调整，即可在去噪和去块效应任务中均取得顶尖性能。