[论文解读] Nonlocal Low-Rank Tensor Factor Analysis for Image Restoration

Xinyuan Zhang, Xin Yuan+1 more|arXiv (Cornell University)|Mar 19, 2018

Sparse and Compressive Sensing Techniques参考文献 52被引用 7

一句话总结

该论文提出了一种非局部低秩张量分解分析方法（NLR-TFA），这是一种新型图像恢复方法，通过将分组的图像块表示为3D张量来保留空间结构，并利用低秩张量分解来挖掘非局部自相似性。通过将该方法整合到ADMM框架中，并利用深度卷积神经网络（CNN）近似计算量较大的矩阵求逆操作，NLR-TFA在压缩感知重建任务中实现了最先进性能，尤其在超低采样率下表现突出，在2%采样率下PSNR提升超过8 dB。

ABSTRACT

Low-rank signal modeling has been widely leveraged to capture non-local correlation in image processing applications. We propose a new method that employs low-rank tensor factor analysis for tensors generated by grouped image patches. The low-rank tensors are fed into the alternative direction multiplier method (ADMM) to further improve image reconstruction. The motivating application is compressive sensing (CS), and a deep convolutional architecture is adopted to approximate the expensive matrix inversion in CS applications. An iterative algorithm based on this low-rank tensor factorization strategy, called NLR-TFA, is presented in detail. Experimental results on noiseless and noisy CS measurements demonstrate the superiority of the proposed approach, especially at low CS sampling rates.

研究动机与目标

• 解决传统低秩方法中将2D图像块向量化所导致的空间结构丢失问题。
• 通过将相似块分组为3D张量来挖掘图像中的非局部自相似性，以保留空间相关性。
• 构建一种基于张量的低秩分解框架，以捕捉超越矩阵方法的高阶结构信息。
• 通过用预训练的深度卷积神经网络替代ADMM中的内层矩阵求逆步骤，提升ADMM框架下图像重建的计算效率。
• 在极低采样率（如2%）和噪声环境下，展示该方法在压缩感知图像重建中的卓越性能。

提出的方法

• 将每个参考块周围的相似图像块分组为3D张量，以保留块的2D空间结构。
• 对每组张量应用低秩张量分解（TFA），以利用非局部相关性并提取跨块组的潜在特征。
• 将图像恢复问题建模为带有低秩张量约束的约束优化问题，采用交替方向乘子法（ADMM）求解。
• 用一个预训练的深度卷积神经网络（CNN）替代ADMM中的高成本矩阵求逆步骤，以近似逆算子。
• 采用伪径向采样方案生成压缩感知（CS）测量数据，用于评估。
• 将学习到的反演网络集成到ADMM框架中，实现无需迭代内层求解器的快速端到端重建。

实验结果

研究问题

• RQ1 通过张量表示保留图像块的2D空间结构，是否能相比向量化矩阵方法提升低秩建模在图像恢复中的性能？
• RQ2 对非局部分组块进行低秩张量分解，是否能在压缩感知中实现更优的图像重建质量，尤其是在低采样率下？
• RQ3 深度CNN能否有效近似ADMM图像重建中计算量大的矩阵求逆步骤，从而在不损失精度的前提下实现更快收敛？
• RQ4 在噪声压缩感知条件下，所提出的NLR-TFA方法相比现有最先进算法表现如何？
• RQ5 基于张量的重建中，最优块尺寸是多少？其对PSNR和计算成本有何影响？

主要发现

• 在2%压缩感知采样率下，NLR-TFA在Parrots图像上达到28.54 dB的PSNR，相比D-AMP提升超过8 dB。
• 在10%采样率下，Boats图像的噪声测量（σ=30）中，NLR-TFA达到30.97 dB的PSNR，显著优于TVAL3（24.02 dB）和DAMP（24.71 dB）。
• 采用4×4块尺寸时，Foreman图像在10%采样率下达到36.02 dB的PSNR，表明更小的块尺寸可获得更优的重建质量。
• 基于深度CNN的反演近似方法显著降低了运行时间，相比需要内层求解器（如共轭梯度法）的方法，同时保持了高精度。
• 该方法对噪声具有强鲁棒性：随着噪声增加，PSNR下降缓慢，优于对高噪声更敏感的BM3D-CS和NLR-CS。
• NLR-TFA在所有测试图像和采样率下均取得最高平均PSNR，在8%采样率下平均PSNR达28.22 dB，超过D-AMP的23.69 dB。