[论文解读] Spatio-Spectral Structure Tensor Total Variation for Hyperspectral Image Denoising and Destriping

Shingo Takemoto, Naganuma, Kazuki+1 more|arXiv (Cornell University)|Apr 4, 2024

Image and Signal Denoising Methods被引用 15

一句话总结

本文提出了一种新型正则化方法——空间-光谱结构张量总变差（S3TTV），用于高光谱图像去噪与去条纹处理。该方法通过核范数建模二阶空间-光谱结构张量，捕捉半局部空间结构与光谱相关性，从而增强边缘与纹理的保持能力。在模拟与真实世界实验中，S3TTV 均优于当前最先进方法，展现出卓越的噪声抑制能力与结构保真度，同时通过预处理原始对偶分裂算法实现计算效率。

ABSTRACT

This paper proposes a novel regularization method, named Spatio-Spectral Structure Tensor Total Variation (S3TTV), for denoising and destriping of hyperspectral (HS) images. HS images are inevitably contaminated by various types of noise, during acquisition process, due to the measurement equipment and the environment. For HS image denoising and destriping tasks, Spatio-Spectral Total Variation (SSTV) is widely known as a powerful regularization approach that models the spatio-spectral piecewise smoothness. However, since SSTV refers only to the local differences of pixels/bands, edges and textures that extend beyond adjacent pixels are not preserved during denoising process. To address this problem, we newly introduce S3TTV, which is designed to preserve two essential physical characteristics of HS images: semi-local spatial structures and spectral correlation across all bands. Specifically, we define S3TTV as the sum of the nuclear norms of spatio-spectral structure tensors, which are matrices formed by arranging second-order spatio-spectral difference vectors within semi-local areas. Furthermore, we formulate the HS image denoising and destriping problem as a constrained convex optimization problem involving S3TTV and develop an algorithm based on a preconditioned primal-dual splitting method to solve this problem efficiently. Finally, we demonstrate the effectiveness of S3TTV by comparing it with existing methods, including state-of-the-art ones through denoising and destriping experiments.

研究动机与目标

• 为解决现有基于总变差（TV）的方法在处理高光谱（HS）图像中超越相邻像素的边缘与纹理时的局限性。
• 克服由一阶差分与局部正则化导致的过度平滑与边缘失真问题。
• 将半局部空间结构感知与光谱相关性建模整合进总变差框架，以提升去噪与去条纹性能。
• 开发一种高效优化算法，求解涉及 S3TTV 正则化的约束凸优化问题。

提出的方法

• S3TTV 定义为在半局部空间与光谱块内，由二阶差分构成的空间-光谱结构张量的核范数之和。
• 通过使用二阶差分捕捉相邻像素与波段之间的局部变化，实现对空间-光谱分段平滑性的建模。
• 利用二阶空间与光谱差分构建结构张量，使方法能够有效保持扩展的纹理与边缘。
• 开发了一种预处理原始对偶分裂（P-PDS）算法，以高效求解涉及 S3TTV 正则化的凸优化问题。
• 通过在差分矩阵中促进低秩结构，实现对光谱相关性的建模，增强全局光谱一致性。
• 将方法表述为一个约束凸优化问题，通过平衡数据保真度与 S3TTV 正则化，恢复干净的高光谱图像。

实验结果

研究问题

• RQ1 与一阶差分相比，二阶空间-光谱差分是否能更有效地区分噪声与干净的高光谱图像结构？
• RQ2 在高光谱图像去噪中，引入半局部空间结构感知是否能改善边缘与纹理的保持能力？
• RQ3 通过结构张量核范数建模光谱相关性，是否能在不引起模糊的前提下提升去噪性能？
• RQ4 在模拟与真实高光谱数据上，S3TTV 在 PSNR、SSIM 和视觉质量方面与最先进方法相比表现如何？
• RQ5 在实际应用中，S3TTV 的最优块大小与惩罚参数 ρ 配置为何？

主要发现

• S3TTV 在所有测试数据集中均取得最高的平均 PSNR（MPSNR）与平均 SSIM（MSSIM），显著优于所有基线方法，包括最先进的深度神经网络（DNN）与正则化方法。
• 在 Jasper Ridge 数据集上，S3TTV 达到 38.12 dB 的 MPSNR 与 0.987 的 MSSIM，较第二名方法（QRNN3D）在 PSNR 上领先 0.6 dB。
• 在 Pavia University 与 Beltsville 的真实世界数据上，S3TTV 保持了卓越性能，展现出对真实噪声模式的强鲁棒性。
• 消融实验表明，二阶差分在区分噪声与干净图像结构方面，比一阶差分更有效。
• 收敛性分析显示，S3TTV 在 100 次迭代内即趋于稳定，目标函数与图像质量指标（PSNR、SSIM）单调提升。
• 与其它基于结构张量的方法相比，S3TTV 具有更高的计算效率，其运行时间分别为：Jasper Ridge 1.37×10⁴ 秒、Pavia University 2.05×10⁴ 秒、Beltsville 1.74×10⁴ 秒，优于 STV 与 SSST，同时保持高精度。