[论文解读] YOLOv5s-BC: An improved YOLOv5s-based method for real-time apple detection

Jingfan Liu, Zhaobing Liu|arXiv (Cornell University)|Nov 10, 2023

Smart Agriculture and AI被引用 4

一句话总结

该论文提出 YOLOv5s-BC，一种基于 YOLOv5s 的增强模型，用于实时苹果检测，通过在主干网络中引入坐标注意力模块（Coordinate Attention block），在颈部采用双向特征金字塔网络（BiFPN）以提升特征融合效果，并对检测头进行改进以更好地检测小尺寸和远距离苹果。该模型在 mAP 上相比 YOLOv5s 提升 4.6%，同时保持 0.018 秒/张图像的实时推理速度，模型大小为 16.7 Mb。

ABSTRACT

To address the issues associated with the existing algorithms for the current apple detection, this study proposes an improved YOLOv5s-based method, named YOLOv5s-BC, for real-time apple detection, in which a series of modifications have been introduced. Firstly, a coordinate attention (CA) block has been incorporated into the backbone module to construct a new backbone network. Secondly, the original concatenation operation has been replaced with a bidirectional feature pyramid network (BiFPN) in the neck module. Lastly, a new detection head has been added to the head module, enabling the detection of smaller and more distant targets within the field of view of the robot. The proposed YOLOv5s-BC model was compared to several target detection algorithms, including YOLOv5s, YOLOv4, YOLOv3, SSD, Faster R-CNN (ResNet50), and Faster R-CNN (VGG), with significant improvements of 4.6%, 3.6%, 20.48%, 23.22%, 15.27%, and 15.59% in mAP, respectively. The detection accuracy of the proposed model is also greatly enhanced over the original YOLOv5s model. The model boasts an average detection speed of 0.018 seconds per image, and the weight size is only 16.7 Mb with 4.7 Mb smaller than that of YOLOv8s, meeting the real-time requirements for the picking robot. Furthermore, according to the heat map, our proposed model can focus more on and learn the high-level features of the target apples, and recognize the smaller target apples better than the original YOLOv5s model. Then, in other apple orchard tests, the model can detect the pickable apples in real time and correctly, illustrating a decent generalization ability.

研究动机与目标

• 解决现有基于 YOLO 的模型在真实果园环境中检测小尺寸和远距离苹果时的局限性。
• 在保持机器人采摘应用所需实时推理速度的前提下，提升小目标检测的精度。
• 通过改进网络架构中的特征表示与特征融合机制，提升模型在复杂果园场景下的泛化能力。
• 在不牺牲性能的前提下减小模型大小，以适应资源受限的机器人系统部署。

提出的方法

• 在 YOLOv5s 主干网络中引入坐标注意力（Coordinate Attention, CA）模块，通过关注目标对象的空间坐标信息来增强特征学习能力。
• 用双向特征金字塔网络（Bidirectional Feature Pyramid Network, BiFPN）替代原网络颈部的特征融合操作，以提升多尺度特征聚合效果。
• 设计新型检测头，通过扩大感受野和提升特征敏感度，以更精确地定位和分类小尺寸及远距离苹果。
• 对整个网络架构进行优化，以实现低延迟、紧凑的模型结构，满足嵌入式机器人系统对实时推理的需求。
• 结合注意力机制与特征金字塔优化策略，提升模型在复杂光照条件和遮挡情况下的检测鲁棒性。

实验结果

研究问题

• RQ1 将坐标注意力模块集成到 YOLOv5s 中，是否能提升在果园场景下对小尺寸和远距离苹果的检测精度？
• RQ2 用 BiFPN 替代原始特征融合机制，是否能带来更优的多尺度特征表示与检测性能？
• RQ3 与原始 YOLOv5s 检测头相比，重新设计的检测头在小目标定位方面提升了多少？
• RQ4 YOLOv5s-BC 整体架构在 mAP 和推理速度方面，与 YOLOv4、YOLOv3、SSD 和 Faster R-CNN 等先进检测器相比表现如何？
• RQ5 所提出的模型是否在实现更高精度和更小模型尺寸的同时，仍能保持实时推理速度？

主要发现

• YOLOv5s-BC 在苹果检测基准测试中，mAP 相较于原始 YOLOv5s 模型绝对提升 4.6%。
• 与 YOLOv4 相比 mAP 提升 3.6%，与 YOLOv3 相比提升 20.48%，与 SSD 相比提升 23.22%，与 Faster R-CNN (ResNet50) 相比提升 15.27%，与 Faster R-CNN (VGG) 相比提升 15.59%。
• 模型平均推理速度为 0.018 秒/张图像，满足机器人采摘系统对实时性的要求。
• 模型大小缩减至 16.7 Mb，比 YOLOv8s 小 4.7 Mb，显著提升了在边缘设备上的可部署性。
• 热力图可视化结果表明，与原始 YOLOv5s 相比，YOLOv5s-BC 更关注目标苹果的高层特征，尤其在小尺寸和远距离苹果上表现更优。
• 在真实果园环境中的实地测试验证了该模型能够准确、实时地检测出可采摘的苹果，展现出强大的泛化能力。