[论文解读] Non-local Meets Global: An Iterative Paradigm for Hyperspectral Image Restoration

Wei He, Quanming Yao+5 more|arXiv (Cornell University)|Oct 24, 2020

Image and Signal Denoising Methods参考文献 88被引用 22

一句话总结

本文提出 NGmeet，一种新颖的迭代高光谱图像（HSI）恢复框架，通过学习共享正交基来统一非局部空间相似性与全局光谱低秩结构，实现降维图像去噪。通过在潜在图像估计、基优化与非局部低秩去噪（支持秩自适应）之间交替迭代，NGmeet 在去噪、压缩重建与修复任务中均实现了最先进性能，且相比先前的非局部低秩方法，计算成本显著降低。

ABSTRACT

Non-local low-rank tensor approximation has been developed as a state-of-the-art method for hyperspectral image (HSI) restoration, which includes the tasks of denoising, compressed HSI reconstruction and inpainting. Unfortunately, while its restoration performance benefits from more spectral bands, its runtime also substantially increases. In this paper, we claim that the HSI lies in a global spectral low-rank subspace, and the spectral subspaces of each full band patch group should lie in this global low-rank subspace. This motivates us to propose a unified paradigm combining the spatial and spectral properties for HSI restoration. The proposed paradigm enjoys performance superiority from the non-local spatial denoising and light computation complexity from the low-rank orthogonal basis exploration. An efficient alternating minimization algorithm with rank adaptation is developed. It is done by first solving a fidelity term-related problem for the update of a latent input image, and then learning a low-dimensional orthogonal basis and the related reduced image from the latent input image. Subsequently, non-local low-rank denoising is developed to refine the reduced image and orthogonal basis iteratively. Finally, the experiments on HSI denoising, compressed reconstruction, and inpainting tasks, with both simulated and real datasets, demonstrate its superiority with respect to state-of-the-art HSI restoration methods.

研究动机与目标

• 为解决非局部低秩张量方法在高光谱图像（HSI）恢复中的高计算成本问题，尤其是光谱维数增加时的问题。
• 利用 HSI 的全局光谱低秩特性，即所有全波段块组均位于同一低维光谱子空间中。
• 开发一种统一且高效的范式，整合空间非局部相似性与光谱低秩正则化，适用于多种 HSI 恢复任务。
• 在保持或提升去噪、压缩重建与修复任务性能的同时，降低运行时间，优于当前最先进方法。

提出的方法

• 该方法学习一个全局光谱正交基，将 HSI 投影到低维子空间，以实现高效计算。
• 采用交替最小化算法，联合优化潜在输入图像、光谱基与降维图像。
• 在降维图像与基上迭代应用非局部低秩去噪，利用块之间的空间自相似性。
• 在迭代过程中动态执行秩自适应，以提升准确度与收敛性。
• 该框架应用于三项任务：去噪、压缩 HSI 重建与图像修复，采用统一的优化方案。
• 在非局部阶段使用 WNNM 作为去噪器，但该方法也兼容其他先进去噪器。

实验结果

研究问题

• RQ1 能否有效利用全局光谱低秩结构，以减轻非局部低秩 HSI 恢复的计算负担？
• RQ2 如何联合建模非局部空间相似性与全局光谱低秩特性，以提升 HSI 恢复性能？
• RQ3 采用交替优化与秩自适应的迭代范式，是否能带来优于现有方法的性能与更快收敛速度？
• RQ4 所提方法能否在无需任务特定训练数据的情况下，超越基于深度学习的方法？

主要发现

• NGmeet 在模拟与真实 HSI 数据集上，于去噪、压缩重建与修复任务中均实现了最先进性能。
• 在包含 10 个波段的 CAVE 数据集上，NGmeet_V1（10 波段版本）优于 HSI-DeNet，PSNR 达 43.03 dB，而 HSI-DeNet 为 38.45 dB，尽管 HSI-DeNet 在不同数据集上训练。
• 在全部 300 个波段下，NGmeet 在 CAVE 数据集上达到 45.01 dB PSNR，显著优于 WNNM（43.17 dB）与 WSNM（43.44 dB）。
• NGmeet 的计算时间随光谱波段数增加几乎保持不变，而 KBR 与 LLRT 的运行时间显著增长，显示出更优的可扩展性。
• 该方法收敛迅速，在 WDC 数据集上不同噪声水平下，10–20 次迭代内即达到稳定的 PSNR 值。
• 使用 WSNM 作为去噪器时结果略优于 WNNM，表明该框架对去噪算法选择具有鲁棒性。