[论文解读] Panchromatic and Multispectral Image Fusion via Alternating Reverse Filtering Network

Keyu Yan, Man Zhou+5 more|arXiv (Cornell University)|Oct 15, 2022

Advanced Image Fusion Techniques被引用 8

一句话总结

本文提出了一种用于全色与多光谱图像融合的交替反向滤波网络，将全色锐化建模为一种无需依赖预定义先验的可解释迭代反向滤波过程。通过引入可学习的多尺度高斯核模块以确保通过压缩映射实现收敛，该方法在模拟和真实世界数据集上均实现了最先进性能，在PSNR、SSIM和光谱保真度指标上优于现有方法。

ABSTRACT

Panchromatic (PAN) and multi-spectral (MS) image fusion, named Pan-sharpening, refers to super-resolve the low-resolution (LR) multi-spectral (MS) images in the spatial domain to generate the expected high-resolution (HR) MS images, conditioning on the corresponding high-resolution PAN images. In this paper, we present a simple yet effective extit{alternating reverse filtering network} for pan-sharpening. Inspired by the classical reverse filtering that reverses images to the status before filtering, we formulate pan-sharpening as an alternately iterative reverse filtering process, which fuses LR MS and HR MS in an interpretable manner. Different from existing model-driven methods that require well-designed priors and degradation assumptions, the reverse filtering process avoids the dependency on pre-defined exact priors. To guarantee the stability and convergence of the iterative process via contraction mapping on a metric space, we develop the learnable multi-scale Gaussian kernel module, instead of using specific filters. We demonstrate the theoretical feasibility of such formulations. Extensive experiments on diverse scenes to thoroughly verify the performance of our method, significantly outperforming the state of the arts.

研究动机与目标

• 解决传统全色锐化方法依赖严格退化假设和预定义先验所带来的局限性。
• 开发一种可解释的基于深度学习的融合框架，避免对人工设计先验的依赖。
• 通过可学习的多尺度高斯核模块确保迭代融合过程的收敛性和稳定性。
• 在模拟和真实世界全色锐化基准测试中超越现有最先进方法。

提出的方法

• 将全色锐化建模为一种受经典反向滤波启发的交替迭代反向滤波过程，以重建高分辨率多光谱图像。
• 将反向滤波过程展开为深度网络架构，实现端到端学习，无需显式先验假设。
• 引入可学习的多尺度高斯核模块以替代固定滤波器，通过度量空间中的压缩映射确保收敛。
• 采用基于度量空间的优化框架，保证迭代过程的稳定性和收敛性。
• 采用多阶段网络结构，交替更新低分辨率多光谱图像和高分辨率多光谱图像的估计值。
• 利用模拟和真实世界数据集进行训练与评估，并对核大小和迭代次数进行消融研究。

实验结果

研究问题

• RQ1 全色锐化能否在不依赖预定义退化模型或先验的情况下，有效建模为一种迭代反向滤波过程？
• RQ2 在图像融合的迭代深度学习框架中，如何确保收敛性和稳定性？
• RQ3 何种可学习滤波器模块设计能够在保持理论收敛性的同时实现高性能？
• RQ4 在光谱保真度和空间保真度方面，所提方法与最先进方法相比表现如何？
• RQ5 核大小和迭代次数对最终融合质量的影响是什么？

主要发现

• 所提方法在WorldView-II数据集上达到41.7587的PSNR，显著优于先前最先进方法。
• SSIM提升至0.9691，SAM降低至0.0229，表明结构和光谱保持性能更优。
• 消融研究显示，将最大核大小M从1增加到17，PSNR从39.7820提升至41.7587，证明了多尺度核设计的有效性。
• 最优迭代次数K被确定为5，实现了性能与计算成本的平衡。
• 学习得到的核优于随机初始化和高斯初始化的核，证实了滤波器参数端到端优化的优势。
• 所提方法在WorldView-II数据集上达到0.8285的QNR，表明整体图像质量和保真度极强。