[论文解读] Volumetric Super-Resolution of Multispectral Data

Vildan Atalay Aydın, Hassan Foroosh|arXiv (Cornell University)|May 14, 2017

Advanced Image Fusion Techniques参考文献 84被引用 9

一句话总结

本文提出了一种基于小波的多帧超分辨率方法，通过融合多个日期的全景锐化多光谱（MS）图像，实现超越全色（PAN）波段空间分辨率的体积超分辨率。通过在哈尔小波域中利用子带关系，结合时间和空间信息，该方法在保持光谱保真度的同时增强了空间细节，在PSNR和SSIM指标上优于传统的插值法和IBP方法。

ABSTRACT

Most multispectral remote sensors (e.g. QuickBird, IKONOS, and Landsat 7 ETM+) provide low-spatial high-spectral resolution multispectral (MS) or high-spatial low-spectral resolution panchromatic (PAN) images, separately. In order to reconstruct a high-spatial/high-spectral resolution multispectral image volume, either the information in MS and PAN images are fused (i.e. pansharpening) or super-resolution reconstruction (SRR) is used with only MS images captured on different dates. Existing methods do not utilize temporal information of MS and high spatial resolution of PAN images together to improve the resolution. In this paper, we propose a multiframe SRR algorithm using pansharpened MS images, taking advantage of both temporal and spatial information available in multispectral imagery, in order to exceed spatial resolution of given PAN images. We first apply pansharpening to a set of multispectral images and their corresponding PAN images captured on different dates. Then, we use the pansharpened multispectral images as input to the proposed wavelet-based multiframe SRR method to yield full volumetric SRR. The proposed SRR method is obtained by deriving the subband relations between multitemporal MS volumes. We demonstrate the results on Landsat 7 ETM+ images comparing our method to conventional techniques.

研究动机与目标

• 解决现有全景锐化与超分辨率方法未能联合利用多光谱遥感中时间与空间信息的局限性。
• 通过融合多时相全景锐化MS数据，将多光谱图像的空间分辨率提升至全色（PAN）波段极限以上。
• 开发一种闭式小波域子带关系模型，以实现精确的多帧超分辨率重建。
• 在增强空间分辨率的同时保持光谱信息，克服传统超分辨率技术中常见的过度平滑与光谱失真问题。
• 在真实Landsat 7 ETM+数据上展示所提方法的有效性，并与插值法和基于IBP的方法进行性能对比。

提出的方法

• 首先对不同日期获取的多光谱（MS）和全色（PAN）图像进行全景锐化，生成高空间分辨率的MS图像。
• 使用某一波段作为参考，执行图像配准，对多时相MS图像进行对齐，校正旋转与平移，确保仅剩余平移偏移。
• 基于哈尔域中推导出的子带关系，开发一种基于小波的多帧超分辨率算法，以建模帧间与带间依赖关系。
• 该方法通过迭代优化代价函数，结合小波逆变换与子带重建，从通过上采样和逆变换获得的初始HR估计出发。
• 该算法利用帧间的时间一致性与PAN波段的空间分辨率，重建出高分辨率、高光谱体积图像。
• 闭式小波子带模型通过编码帧间空间与光谱相关性，实现高效计算与稳定重建。

实验结果

研究问题

• RQ1 将全景锐化与多帧超分辨率结合，能否实现超越全色（PAN）波段原始分辨率的空间分辨率提升？
• RQ2 如何有效融合多时相多光谱图像的时间信息与高空间分辨率PAN数据，以提升超分辨率性能？
• RQ3 与传统插值法和IBP方法相比，所提出的基于小波域的子带建模在光谱保真度与边缘细节方面改善程度如何？
• RQ4 所提方法能否在保持较低光谱失真前提下，实现更高的PSNR与SSIM值？
• RQ5 全景锐化与多帧SRR的结合是否优于独立的全景锐化或SRR技术？

主要发现

• 在Landsat 7 ETM+所有波段（1, 2, 3, 4, 5, 7）中，所提方法在PSNR和SSIM指标上均优于双线性、双三次及IBP插值方法，其中波段1的PSNR增益最高达34.82 dB。
• 在波段3中，所提方法PSNR达27.26 dB，显著优于IBP（21.65 dB）与双三次插值（22.39 dB），表明其在边缘与纹理重建方面表现更优。
• 在波段4中，所提方法PSNR为16.47 dB，虽低于IBP，但SSIM值达0.51，表明在低对比度区域仍具鲁棒性。
• 与传统技术相比，该方法更有效地保持了光谱信息，表现为所有波段SSIM值更高，尤其在波段1、2、5和7中，SSIM值均超过0.91。
• 在无真实值的真实世界实验中，视觉检查RGB合成图像表明，所提方法生成的边缘更清晰，纹理细节更丰富，优于基线方法。
• 表III中的定量结果证实，所提方法在PSNR与SSIM上持续优于双线性与双三次插值方法，且在多数波段中与IBP相当或更优，尤其在高光谱波段表现更佳。