[论文解读] PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion

Yu Fu, Tianyang Xu+2 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Image Fusion Techniques参考文献 46被引用 44

一句话总结

本文提出了 Pyramid Patch Transformer (PPT)，将局部 Patch Transformer 与全局 Pyramid Transformer 相结合，用于提取低级视觉任务的多尺度、多层次特征，并将其应用于图像融合，取得具有竞争力的结果。

ABSTRACT

The Transformer architecture has witnessed a rapid development in recent years, outperforming the CNN architectures in many computer vision tasks, as exemplified by the Vision Transformers (ViT) for image classification. However, existing visual transformer models aim to extract semantic information for high-level tasks, such as classification and detection.These methods ignore the importance of the spatial resolution of the input image, thus sacrificing the local correlation information of neighboring pixels. In this paper, we propose a Patch Pyramid Transformer(PPT) to effectively address the above issues.Specifically, we first design a Patch Transformer to transform the image into a sequence of patches, where transformer encoding is performed for each patch to extract local representations. In addition, we construct a Pyramid Transformer to effectively extract the non-local information from the entire image. After obtaining a set of multi-scale, multi-dimensional, and multi-angle features of the original image, we design the image reconstruction network to ensure that the features can be reconstructed into the original input. To validate the effectiveness, we apply the proposed Patch Pyramid Transformer to image fusion tasks. The experimental results demonstrate its superior performance, compared to the state-of-the-art fusion approaches, achieving the best results on several evaluation indicators. Thanks to the underlying representational capacity of the PPT network, it can directly be applied to different image fusion tasks without redesigning or retraining the network.

研究动机与目标

• 激发研究并解决纯全局变换器在低级视觉任务中的局限性，通过保留局部像素级信息。
• 开发 Patch Transformer，以建模补丁内的像素级相关性。
• 构建 Pyramid Transformer，捕捉补丁之间的全局多尺度关系。
• 将 Patch 与 Pyramid Transformer 集成到自编码器中，以实现鲁棒的图像重建。
• 展示 PPT 在多种图像融合任务中的有效性，且无需针对具体任务重新设计。

提出的方法

• 引入 Patch Transformer，对每个补丁进行 transformer 编码，以提取该补丁内所有像素的局部表征。
• 通过多尺度下采样并对 Patch Transformer 进行处理，随后上采样并拼接特征，构建多尺度表示。
• 组装一个自编码器架构，其中 Pyramid 与 Patch Transformer 构成编码器，基于 MLP 的解码器重建图像（损失函数为 MSE）。
• 将 PPT 编码器应用于多源图像（如红外和可见光）在孪生设置中，并通过通道级融合策略对特征 F_fused 进行融合。
• 使用三种融合策略（平均、最大、Softmax）在解码成融合图像之前自适应地组合特征。

实验结果

研究问题

• RQ1 能否通过在补丁内保留局部像素信息，有效地将基于 Transformer 的模型用于低级视觉任务？
• RQ2 多尺度的 Pyramid Transformer 是否在不牺牲局部纹理细节的前提下改善全局上下文建模？
• RQ3 相较于最先进的方法，PPT 基于特征提取在跨红外/可见、多焦点和医学数据集的多源图像融合中的表现如何？
• RQ4 所提出的架构是否具有足够的通用性，能够在不同图像融合任务中无需网络重新设计？
• RQ5 哪种融合策略（平均、最大、Softmax）能够在各数据集上获得最佳的定量融合指标？

主要发现

• PPT 能同时提取局部纹理和全局上下文特征，从而实现有效的低级视觉表征。
• The Pyramid Patch Transformer 产生多尺度特征，提升融合质量，同时保持无 CNN。
• 在红外/可见融合任务中，PPT Fusion 在 TNO 和 RoadScene 等数据集的多项指标上位列前两名。
• 对于多焦点及其他融合任务，该方法在与大量前沿方法的对比分析中实现了具有竞争力或优越的分数。
• 与传统大型变换器相比，该方法需要的计算资源更少，能够在有限硬件条件下工作，同时使用 COCO/Imagenet 预训练。
• 作者报告 PPT Fusion 在若干定量指标（SCD、SSIM、CC、FMI_pixel 等）上达到最好或接近最好，并展示了有利的定性融合结果。