[论文解读] Research on Mosaic Image Data Enhancement for Overlapping Ship Targets

Guangmiao Zeng, Wanneng Yu+2 more|arXiv (Cornell University)|May 11, 2021

Advanced Neural Network Applications参考文献 26被引用 7

一句话总结

本文提出了一种改进的马赛克数据增强方法，用于提升基于 Yolov4-tiny 的重叠场景船舶检测性能。通过优化训练数据的组合方式，采用不同的马赛克比例，使被遮挡船舶的识别准确率提升 2.5%，目标丢失时间减少 17%，在不增加推理延迟的前提下，分辨率鲁棒性提升 27.01%。

ABSTRACT

The problem of overlapping occlusion in target recognition has been a difficult research problem, and the situation of mutual occlusion of ship targets in narrow waters still exists. In this paper, an improved mosaic data enhancement method is proposed, which optimizes the reading method of the data set, strengthens the learning ability of the detection algorithm for local features, improves the recognition accuracy of overlapping targets while keeping the test speed unchanged, reduces the decay rate of recognition ability under different resolutions, and strengthens the robustness of the algorithm. The real test experiments prove that, relative to the original algorithm, the improved algorithm improves the recognition accuracy of overlapping targets by 2.5%, reduces the target loss time by 17%, and improves the recognition stability under different video resolutions by 27.01%.

研究动机与目标

• 解决在狭窄水域中使用实时机载检测系统进行重叠船舶目标识别的挑战。
• 在不改变 Yolov4-tiny 网络结构的前提下，提升被遮挡船舶目标的识别准确率。
• 在保持高检测速度的同时，增强模型在离线、移动海上环境下的不同视频分辨率下的鲁棒性。
• 通过数据增强减少目标丢失时间，并提升在分辨率退化条件下的识别稳定性。
• 在真实海上测试场景中验证改进马赛克方法的有效性。

提出的方法

• 提出一种改进的马赛克数据增强策略，采用三种不同的比例组合：1:0:0、1:1:0 和 2:2:1，用于训练图像。
• 通过在训练过程中集成多种马赛克比例，优化数据集读取方式，提升重叠目标配置的多样性。
• 将增强后的数据用于训练 Yolov4-tiny 模型，保持其轻量化特性，适用于小型移动平台部署。
• 以 Yolov4-tiny 架构为基础模型，确保在资源受限系统上实现实时推理性能。
• 通过模拟数据集和真实海上视频序列进行评估，验证模型在不同分辨率下的性能表现。
• 使用帧级分离准确率和目标丢失时间等指标，对比不同马赛克策略下的识别性能。

实验结果

研究问题

• RQ1 在数据增强过程中，马赛克比例组合的变化如何影响重叠船舶目标检测的准确率？
• RQ2 改进的马赛克方法在不同视频分辨率下，对识别稳定性的提升程度如何？
• RQ3 改进的方法是否能在显著减少重叠场景下目标丢失时间的同时，保持高检测速度？
• RQ4 与原始 Yolov4-tiny 基线模型相比，改进模型在真实海上环境中的表现如何？
• RQ5 该数据增强策略是否提升了模型学习区分被遮挡船舶关键局部特征的能力？

主要发现

• 与原始算法相比，改进的马赛克方法使重叠船舶目标的识别准确率提升了 2.5%。
• 在真实测试中，采用增强数据增强方法后，目标丢失时间减少了 17%。
• 与基线方法相比，不同视频分辨率下的识别稳定性提升了 27.01%。
• 该方法保持了与原始 Yolov4-tiny 模型相同的推理速度，确保了实时性能。
• 在所有测试分辨率（1080p、720p、480p、360p）下，该方法均优于基线方法，尤其在高分辨率退化场景下表现更优。
• 使用增强马赛克数据训练的 Yolov4-tiny 模型展现出更强的鲁棒性，目标无法分离的帧比例最低。