[论文解读] Super-resolution reconstruction of hyperspectral images via low rank tensor modeling and total variation regularization

Shiying He, Haiwei Zhou+3 more|arXiv (Cornell University)|Jan 23, 2016

Advanced Image Fusion Techniques参考文献 2被引用 3

一句话总结

该论文提出了一种基于低秩张量建模与三维总变差正则化的超光谱图像超分辨率方法，以利用全局空间-光谱相关性与局部平滑性。通过结合张量核范数与折叠凹性（MCP）惩罚进行低秩逼近，并采用3D TV实现稀疏性，再通过LLA-ADMM求解优化问题，该方法在AVIRIS数据集上实现了优异的重建质量，MCP在PSNR、SAM和ERGAS指标上均优于核范数。

ABSTRACT

In this paper, we propose a novel approach to hyperspectral image super-resolution by modeling the global spatial-and-spectral correlation and local smoothness properties over hyperspectral images. Specifically, we utilize the tensor nuclear norm and tensor folded-concave penalty functions to describe the global spatial-and-spectral correlation hidden in hyperspectral images, and 3D total variation (TV) to characterize the local spatial-and-spectral smoothness across all hyperspectral bands. Then, we develop an efficient algorithm for solving the resulting optimization problem by combing the local linear approximation (LLA) strategy and alternative direction method of multipliers (ADMM). Experimental results on one hyperspectral image dataset illustrate the merits of the proposed approach.

研究动机与目标

• 解决由于硬件限制与信噪比（SNR）不足导致的超光谱图像（HSIs）空间分辨率低下的挑战。
• 仅从单个低分辨率（LR）观测中重建高分辨率（HR）HSI，无需辅助的HR图像。
• 通过基于张量的低秩约束建模全局空间-光谱相关性。
• 通过3D总变差正则化捕捉局部空间-光谱平滑性。
• 开发高效的优化框架以求解非凸、结构化正则化问题。

提出的方法

• 将超光谱图像建模为三维张量，维度为（宽度，高度，光谱波段），以保持多模态结构。
• 应用张量核范数与折叠凹性（MCP）惩罚，以在所有三个模式上强制实现低秩结构，从而捕捉全局空间-光谱相关性。
• 使用3D总变差（TV）正则化，通过相邻体素间绝对差值之和，促进空间与光谱维度上的局部平滑性。
• 将超分辨率问题表述为约束优化问题：最小化数据保真度（最小二乘法，LSQ）与正则化项之和，其中核范数与MCP用于低秩，3D TV用于稀疏性。
• 采用交替方向乘子法（ADMM）框架结合局部线性逼近（LLA），求解包含非凸MCP惩罚的非凸优化问题。
• 将问题分解为子问题：更新HR张量，通过奇异值阈值化（核范数）或加权奇异值软阈值化（MCP）实现低秩约束，并更新对偶变量。

实验结果

研究问题

• RQ1 低秩张量建模能否有效捕捉超光谱图像中超分辨率任务中的全局空间-光谱相关性？
• RQ2 引入3D总变差正则化是否能提升局部平滑性并保留重建HSI中的精细空间细节？
• RQ3 折叠凹性MCP惩罚与凸核范数相比，在HSI超分辨率中建模低秩结构时表现如何？
• RQ4 LLA-ADMM框架能否高效求解包含混合张量范数与3D TV的非凸优化问题？
• RQ5 所提方法在视觉质量与定量指标上是否均优于传统插值方法与现有最先进方法？

主要发现

• 所提方法在AVIRIS数据集上采用MCP惩罚时，PSNR达到最高值37.8732，显著优于双三次插值（33.0236）、NARM（33.1197）与稀疏表示方法（35.7409）。
• MCP方法在SAM（0.0720）与ERGAS（88.5562）上均取得最低值，表明其具有更优的光谱保真度与更低的全局合成误差。
• 折叠凹性惩罚（MCP）在所有指标上均持续优于凸核范数，证明其在低秩逼近中具有更低的建模偏差。
• 视觉结果表明，与双三次插值及其他竞争方法相比，所提方法能更好地保留精细空间细节与边缘信息，尤其在第100波段表现更优。
• LLA-ADMM算法收敛稳定且高效，使非凸正则化在基于张量的HSI超分辨率中具备实际应用可行性。
• 张量核范数与3D TV正则化的结合，相比仅使用其中一种先验的方法，显著提升了重建质量。