[论文解读] Optimizing YOLOv5s Object Detection through Knowledge Distillation algorithm

Guanming Huang, Aoran Shen+4 more|arXiv (Cornell University)|Oct 16, 2024

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

本文提出使用 YOLOv5l 作为教师模型进行知识蒸馏，以优化 YOLOv5s 学生模型，表明提高蒸馏温度可提升检测精度。在最佳温度下，学生模型在 mAP50 和 mAP50-95 指标上优于原始 YOLOv5s，且在训练 150 个周期后实现稳定收敛。

ABSTRACT

This paper explores the application of knowledge distillation technology in target detection tasks, especially the impact of different distillation temperatures on the performance of student models. By using YOLOv5l as the teacher network and a smaller YOLOv5s as the student network, we found that with the increase of distillation temperature, the student's detection accuracy gradually improved, and finally achieved mAP50 and mAP50-95 indicators that were better than the original YOLOv5s model at a specific temperature. Experimental results show that appropriate knowledge distillation strategies can not only improve the accuracy of the model but also help improve the reliability and stability of the model in practical applications. This paper also records in detail the accuracy curve and loss function descent curve during the model training process and shows that the model converges to a stable state after 150 training cycles. These findings provide a theoretical basis and technical reference for further optimizing target detection algorithms.

研究动机与目标

• 研究知识蒸馏对 YOLOv5s 目标检测性能的影响。
• 分析不同蒸馏温度对学生成模精度与稳定性的影响。
• 在不增加模型复杂度的前提下提升 YOLOv5s 的检测精度。
• 为实际应用中增强轻量化目标检测器提供一种实用且高效的方法。

提出的方法

• 使用 YOLOv5l 作为教师网络，指导知识蒸馏进入更小的 YOLOv5s 学生模型。
• 采用带温度缩放的软标签蒸馏，将知识从教师模型迁移至学生模型。
• 使用结合真实标签损失与蒸馏损失的联合损失函数训练学生模型。
• 系统性地改变蒸馏温度，以评估其对模型性能的影响。
• 通过精度与损失曲线监控训练动态，以评估收敛性与稳定性。
• 训练模型 150 个周期，以确保收敛并实现可靠的性能评估。

实验结果

研究问题

• RQ1 改变蒸馏温度如何影响 YOLOv5s 学生成模在 mAP50 和 mAP50-95 上的表现？
• RQ2 从 YOLOv5l 进行知识蒸馏能否使 YOLOv5s 的精度超越其原始性能？
• RQ3 在何种蒸馏温度下，学生模型能实现最佳检测精度？
• RQ4 学生模型在知识蒸馏后的性能是否稳定可靠？
• RQ5 训练过程是否收敛至稳定状态？若收敛，需要多少个训练周期？

主要发现

• 在最佳蒸馏温度下，学生模型的 mAP50 和 mAP50-95 分数均高于原始 YOLOv5s。
• 随着蒸馏温度升高，检测精度持续提升，达到某一特定值后趋于平稳或开始下降。
• 模型在训练 150 个周期后收敛至稳定状态，表现为损失与精度曲线平滑。
• 知识蒸馏显著提升了轻量化 YOLOv5s 模型的精度与可靠性。
• 使用带温度缩放的软标签显著改善了 YOLOv5l 到 YOLOv5s 的知识迁移效果。