[论文解读] Sparse Representation based Multi-sensor Image Fusion: A Review

Qiang Zhang, Yi Liu+3 more|arXiv (Cornell University)|Feb 12, 2017

Advanced Image Fusion Techniques参考文献 64被引用 10

一句话总结

本文全面综述了基于稀疏表示（SR）的多传感器图像融合方法，分析其核心组成部分：稀疏表示模型、字典学习方法以及活动水平融合规则。结果表明，SR方法通过学习数据驱动的过完备字典，优于传统多尺度变换方法，在主观与客观评估中均表现出更优的融合性能，尤其在图像错位条件下表现更佳。

ABSTRACT

As a result of several successful applications in computer vision and image processing, sparse representation (SR) has attracted significant attention in multi-sensor image fusion. Unlike the traditional multiscale transforms (MSTs) that presume the basis functions, SR learns an over-complete dictionary from a set of training images for image fusion, and it achieves more stable and meaningful representations of the source images. By doing so, the SR-based fusion methods generally outperform the traditional MST-based image fusion methods in both subjective and objective tests. In addition, they are less susceptible to mis-registration among the source images, thus facilitating the practical applications. This survey paper proposes a systematic review of the SR-based multi-sensor image fusion literature, highlighting the pros and cons of each category of approaches. Specifically, we start by performing a theoretical investigation of the entire system from three key algorithmic aspects, (1) sparse representation models; (2) dictionary learning methods; and (3) activity levels and fusion rules. Subsequently, we show how the existing works address these scientific problems and design the appropriate fusion rules for each application, such as multi-focus image fusion and multi-modality (e.g., infrared and visible) image fusion. At last, we carry out some experiments to evaluate the impact of these three algorithmic components on the fusion performance when dealing with different applications. This article is expected to serve as a tutorial and source of reference for researchers preparing to enter the field or who desire to employ the sparse representation theory in other fields.

研究动机与目标

• 系统性地回顾并分析基于稀疏表示（SR）的多传感器图像融合方法与传统多尺度变换（MST）方法的对比。
• 识别并评估三个关键组件——稀疏表示模型、字典学习策略以及活动水平融合规则——对融合性能的影响。
• 为新进入该领域的研究人员或希望将SR理论应用于其他图像融合场景的研究者提供教程与参考指南。
• 研究在多焦点与多模态图像融合任务中，不同SR模型、字典类型与融合规则之间的性能差异。
• 探讨基于块的SR融合中的计算复杂度与空间伪影等挑战，并通过引入局部一致性先验提出潜在改进方案。

提出的方法

• 本文通过分析三个核心组件——稀疏表示模型、字典学习方法以及活动水平与融合规则——对基于SR的图像融合进行理论研究。
• 将传统SR模型与先进变体（如ASR、GSR、NNSR、JSR、RSR）进行比较，评估其在不同融合任务中的适用性。
• 字典学习方法分为固定基底（如DCT）、从训练集全局训练的字典，以及从输入图像自适应训练的字典，并提供性能对比。
• 基于表示系数的$l_0$-范数、$l_1$-范数与$l_2$-范数定义的活动水平，评估不同融合规则，以最大选择规则作为基线。
• 采用基于块的融合策略，并通过滑动窗口技术降低错位影响，但导致计算负载增加。
• 在多焦点与红外-可见光图像融合数据集上开展实验，使用标准质量度量（MI、$Q_G$、$Q_S$、$Q_{ZP}$、$Q_{PC}$）评估各组件的影响。

实验结果

研究问题

• RQ1 不同稀疏表示模型（如传统SR、GSR、RSR）在多焦点与多模态图像融合中的性能表现如何？
• RQ2 在基于SR的图像融合中，固定基底字典与学习字典（全局或自适应）的相对性能如何？
• RQ3 在不同图像融合应用中，$l_0$-范数、$l_1$-范数或$l_2$-范数作为活动水平度量，哪种能获得最佳融合结果？
• RQ4 融合规则与表示模型的选择如何影响对错位与空间伪影的鲁棒性？
• RQ5 在采用滑动窗口技术的基于块的SR融合中，计算复杂度与融合质量之间的权衡如何？

主要发现

• $l_1$-范数在多焦点与多模态图像融合中均显著优于$l_0$-范数与$l_2$-范数，在MI、$Q_G$、$Q_S$、$Q_{ZP}$与$Q_{PC}$等指标上取得更高得分。
• 对于多焦点图像，$l_1$-范数实现平均MI为4.1267、$Q_G$为0.7584，显著优于$l_0$-范数（MI: 4.5006，$Q_G$: 0.7098）与$l_2$-范数（MI: 4.0761，$Q_G$: 0.7557）。
• 对于红外-可见光图像融合，$l_1$-范数实现MI = 2.3239、$Q_G$ = 0.6192，优于$l_0$-范数（MI: 2.9882，$Q_G$: 0.5826）与$l_2$-范数（MI: 2.3390，$Q_G$: 0.6135）。
• GSR（组稀疏表示）在多焦点与多模态融合任务中普遍优于传统SR。
• 自适应训练字典与全局训练字典优于固定基底字典（如DCT），学习得到的字典能实现更稳定且有意义的图像表示。
• 研究发现，尽管基于块的SR融合可降低对错位的敏感性，但显著增加计算成本，并因窗口重叠导致信息丢失风险，因此建议在稀疏编码过程中引入局部一致性先验。