[论文解读] TGFuse: An Infrared and Visible Image Fusion Approach Based on Transformer and Generative Adversarial Network

Dongyu Rao, Xiao‐Jun Wu+1 more|arXiv (Cornell University)|Jan 25, 2022

Advanced Image Fusion TechniquesEngineering被引用 18

一句话总结

该论文提出TGFuse，一种结合轻量化Transformer模块进行全局特征建模与生成对抗网络（GANs）以提升融合质量的红外与可见光图像融合方法。通过在基于Transformer的融合模块中引入跨通道与空间注意力机制，并利用双判别器保留模态特异性细节，TGFuse在主观与客观评估中均达到最先进性能，在多个基准指标上优于现有方法。

ABSTRACT

The end-to-end image fusion framework has achieved promising performance, with dedicated convolutional networks aggregating the multi-modal local appearance. However, long-range dependencies are directly neglected in existing CNN fusion approaches, impeding balancing the entire image-level perception for complex scenario fusion. In this paper, therefore, we propose an infrared and visible image fusion algorithm based on a lightweight transformer module and adversarial learning. Inspired by the global interaction power, we use the transformer technique to learn the effective global fusion relations. In particular, shallow features extracted by CNN are interacted in the proposed transformer fusion module to refine the fusion relationship within the spatial scope and across channels simultaneously. Besides, adversarial learning is designed in the training process to improve the output discrimination via imposing competitive consistency from the inputs, reflecting the specific characteristics in infrared and visible images. The experimental performance demonstrates the effectiveness of the proposed modules, with superior improvement against the state-of-the-art, generalising a novel paradigm via transformer and adversarial learning in the fusion task.

研究动机与目标

• 解决基于CNN的融合方法在捕捉红外与可见光图像融合中长距离空间与通道依赖关系方面的局限性。
• 通过为多模态图像融合量身定制的轻量化Transformer模块，整合全局上下文建模以提升融合质量。
• 通过引入对抗学习以保留模态特异性特征，提升融合图像的判别性质量。
• 建立一种新颖的端到端融合框架，结合Transformer与GAN的优势，用于无监督图像融合任务。
• 通过全面的消融实验与基准比较，验证所提出架构的有效性。

提出的方法

• 引入通道-令牌Transformer，用于建模特征图中的通道间关系，实现空间与通道联合的融合学习。
• 设计空间Transformer模块，以捕捉图像中长距离的空间依赖关系，提升全局融合表征能力。
• 复合Transformer融合模块结合空间与通道注意力机制，以优化模态特异性特征之间的特征交互。
• 采用对抗训练策略，使用两个判别器——一个用于比较红外图像与融合图像，另一个用于比较可见光图像与融合图像——以确保融合结果忠实于输入模态的特性。
• 采用轻量化编码器-解码器网络配合残差块进行初始特征提取，随后接入Transformer融合模块。
• 在Transformer中省略位置嵌入，以减少归纳偏置，因消融研究发现其会降低性能。

实验结果

研究问题

• RQ1 轻量化Transformer模块能否有效建模红外与可见光图像融合中的长距离空间与通道依赖关系？
• RQ2 在无监督设置下，对抗学习如何提升融合图像的感知质量与模态保真度？
• RQ3 对于图像融合性能，Transformer层数、CNN深度与特征通道数的最优配置是什么？
• RQ4 在本任务中，从Transformer中移除位置嵌入是否能提升或损害融合性能？
• RQ5 与消融变体相比，各独立组件（空间、通道与对抗模块）对整体融合质量的贡献如何？

主要发现

• 所提出的TGFuse方法在所有客观评估指标上均优于最先进方法，在多个基准上保持一致的性能提升。
• 消融研究显示，按顺序使用空间与通道Transformer（先通道后空间）可获得最佳融合效果，优于单独使用或顺序相反的配置。
• 从Transformer模块中移除位置嵌入可提升性能，表明位置偏置在此融合任务中并无益处。
• 最优的Transformer编码器层数为四层；层数更少（三层）无法学习有意义的融合关系，而更深网络（五层）则引入冗余并导致性能下降。
• CNN深度为四个残差块时可获得最佳特征表示；更深网络因过度下采样导致输出为无意义的黑色图像。
• 通过消融实验确定，融合网络中最优的特征通道数为64，其他数值均导致评估指标上的次优表现。