[论文解读] Surveying You Only Look Once (YOLO) Multispectral Object Detection Advancements, Applications And Challenges

James Gallagher, Edward J. Oughton|arXiv (Cornell University)|Sep 3, 2024

Infrared Target Detection Methodologies被引用 4

一句话总结

本文对400篇多光谱YOLO论文中的200篇进行了全面的元分析，系统梳理了基于YOLO的多光谱目标检测在RGB与长波红外（LWIR）融合方面的进展，其中YOLOv5是应用最广泛的变体。研究发现，地面数据采集占主导地位（63%），中国是主要的研究中心（占研究的58%），并指出了自适应架构、合成数据生成、迁移学习以及超越RGB-LWIR的多传感器融合等关键挑战与未来方向。

ABSTRACT

Multispectral imaging and deep learning have emerged as powerful tools supporting diverse use cases from autonomous vehicles, to agriculture, infrastructure monitoring and environmental assessment. The combination of these technologies has led to significant advancements in object detection, classification, and segmentation tasks in the non-visible light spectrum. This paper considers 400 total papers, reviewing 200 in detail to provide an authoritative meta-review of multispectral imaging technologies, deep learning models, and their applications, considering the evolution and adaptation of You Only Look Once (YOLO) methods. Ground-based collection is the most prevalent approach, totaling 63% of the papers reviewed, although uncrewed aerial systems (UAS) for YOLO-multispectral applications have doubled since 2020. The most prevalent sensor fusion is Red-Green-Blue (RGB) with Long-Wave Infrared (LWIR), comprising 39% of the literature. YOLOv5 remains the most used variant for adaption to multispectral applications, consisting of 33% of all modified YOLO models reviewed. 58% of multispectral-YOLO research is being conducted in China, with broadly similar research quality to other countries (with a mean journal impact factor of 4.45 versus 4.36 for papers not originating from Chinese institutions). Future research needs to focus on (i) developing adaptive YOLO architectures capable of handling diverse spectral inputs that do not require extensive architectural modifications, (ii) exploring methods to generate large synthetic multispectral datasets, (iii) advancing multispectral YOLO transfer learning techniques to address dataset scarcity, and (iv) innovating fusion research with other sensor types beyond RGB and LWIR.

研究动机与目标

• 对400篇调研论文中的200篇进行系统性元分析，全面覆盖基于YOLO的多光谱目标检测研究。
• 分析YOLO在多光谱成像中 across 多个领域的演变过程、应用场景与技术挑战。
• 识别当前研究中占主导地位的数据采集方法、传感器融合模式及YOLO模型变体。
• 评估研究的地域分布与质量，特别比较中国与非中国研究产出的差异。
• 提出未来研究方向，包括自适应架构、合成数据、迁移学习以及多传感器融合。

提出的方法

• 对400篇论文进行了系统性文献综述，其中200篇被深入分析，以确保对多光谱YOLO研究的权威覆盖。
• 研究按数据采集方式（如地面采集、无人机系统UAS）、传感器融合类型（如RGB-LWIR）和YOLO模型变体（如YOLOv5）进行分类。
• 按地理来源分析研究成果，使用期刊影响因子作为研究质量的代理指标。
• 对文献中传感器融合趋势、模型适配性及应用领域进行量化分析并可视化。
• 基于架构适应性不足、数据稀缺以及RGB与LWIR之外的多传感器融合有限等研究空白，推导出未来研究需求。
• 通过发表趋势、模型流行度与地域贡献的统计摘要，为建议提供依据。

实验结果

研究问题

• RQ1 在基于YOLO的多光谱目标检测中，占主导地位的数据采集方法与传感器融合配置是什么？
• RQ2 哪种YOLO变体在多光谱应用中最常被采用？其演变趋势如何？
• RQ3 多光谱YOLO研究的地理分布如何？不同地区的研究质量有何差异？
• RQ4 当前多光谱YOLO研究中的关键技术挑战与局限性有哪些？
• RQ5 哪些未来研究方向对推进多光谱YOLO目标检测领域最为关键？

主要发现

• 地面数据采集是最普遍的方法，占已调研研究的63%，且自2020年以来无人机系统（UAS）使用量翻倍。
• RGB-LWIR融合是最常见的传感器组合，占文献总量的39%。
• YOLOv5是用于多光谱适配的最广泛使用的YOLO变体，占所有修改后YOLO模型的33%。
• 中国在多光谱YOLO研究中处于领先地位，贡献了全部研究的58%，其平均期刊影响因子为4.45，与非中国研究（4.36）相当。
• 在开发能够无需大量架构重构即可处理多样化光谱输入的YOLO架构方面，存在显著研究空白。
• 未来研究必须优先关注合成数据生成、数据稀缺场景下的迁移学习优化，以及与RGB和LWIR之外传感器的融合。