[论文解读] VIFB: A Visible and Infrared Image Fusion Benchmark

Xingchen Zhang, Ping Ye+1 more|arXiv (Cornell University)|Feb 9, 2020

Advanced Image Fusion Techniques参考文献 61被引用 8

一句话总结

本文提出了VIFB，这是首个针对可见光与红外图像融合的综合性基准，包含21组多样的图像对、一个统一的20种最先进融合算法代码库，以及13项评估指标。该基准实现了标准化、可复现的性能比较，揭示了当前基于深度学习的方法尚未超越传统方法，并强调了在性能评估中同时结合定性和定量分析的必要性，因为不同指标下的表现存在显著差异。

ABSTRACT

Visible and infrared image fusion is one of the most important areas in image processing due to its numerous applications. While much progress has been made in recent years with efforts on developing fusion algorithms, there is a lack of code library and benchmark which can gauge the state-of-the-art. In this paper, after briefly reviewing recent advances of visible and infrared image fusion, we present a visible and infrared image fusion benchmark (VIFB) which consists of 21 image pairs, a code library of 20 fusion algorithms and 13 evaluation metrics. We also carry out large scale experiments within the benchmark to understand the performance of these algorithms. By analyzing qualitative and quantitative results, we identify effective algorithms for robust image fusion and give some observations on the status and future prospects of this field.

研究动机与目标

• 为解决可见光与红外图像融合领域缺乏标准化基准的问题，该问题阻碍了算法之间的客观比较。
• 将20种近期的融合算法统一整合到一个接口一致、可互操作的代码库中，以实现便捷的评估。
• 提供一套全面的13项评估指标，以实现超越单一指标依赖的多维度性能评估。
• 提供公开可获取的数据集和实验结果，以支持可复现研究并促进未来算法的开发。
• 分析现有方法的性能与效率，以指导该领域未来的研究方向。

提出的方法

• VIFB基准基于从公开来源和追踪数据集收集的21组可见光-红外图像对构建，涵盖室内、室外、低光照和过曝等多种场景。
• 开发了一个统一的代码库，集成20种近期的融合算法，包括多尺度、基于深度学习、基于子空间和基于显著性的方法，并采用一致的输入/输出接口。
• 实现了13项评估指标，包括受人类感知启发的指标（如$Q_{CB}$、$Q_{CV}$）和信息论度量，以支持全面的性能分析。
• 在全部21组图像对上进行了大量实验，对所有20种算法在全部13项指标上进行了评估，以生成完整的性能画像。
• 进行了运行时分析，以评估计算效率，测量了所有算法在每组图像对上的执行时间。
• 所有实验结果，包括融合图像和指标得分，均已公开发布，以确保可复现性并支持未来的基准测试。

实验结果

研究问题

• RQ1 在采用标准化、多样化数据集和一致评估协议的前提下，不同融合算法的性能表现如何？
• RQ2 基于深度学习的融合方法在可见光-红外融合任务中，相较于非学习方法，优势有多大？
• RQ3 定量评估指标的排名与融合图像质量的定性视觉感知是否一致？
• RQ4 不同融合算法类别之间的计算效率权衡如何？这些权衡如何影响实时应用？
• RQ5 哪些评估指标在评估融合性能方面最为可靠且互补？为何多指标评估至关重要？

主要发现

• 尽管具有强大的表征能力，基于深度学习的融合算法目前尚未展现出优于非学习方法的性能。
• 不同评估指标之间存在显著的性能差异，表明单一指标无法可靠地捕捉整体融合质量。
• 定性与定量评估结果常不一致——例如，NSCT_SR和LatLRR在感知类指标（$Q_{CB}$、$Q_{CV}$）上表现较差，但视觉结果尚可接受——这凸显了多指标评估的必要性。
• 最快算法（IFEVIP）每对图像仅需0.17秒，而最慢算法（LatLRR）耗时271.04秒，表明不同方法间存在1500倍的性能差距。
• 多尺度方法如GFF效率极高（0.41秒/对），而基于深度学习的模型如CNN和DLF则显著更慢（18.62–31.76秒/对），即使使用GPU加速。
• 运行时间是实时应用的关键瓶颈：如LatLRR和NSCT_SR（94.65秒/对）等算法在需要低延迟处理的追踪或检测系统中不切实际。