[论文解读] YOLO-pdd: A Novel Multi-scale PCB Defect Detection Method Using Deep Representations with Sequential Images

Bowen Liu, Dongjie Chen+1 more|arXiv (Cornell University)|Jul 22, 2024

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

该论文提出 YOLO-pdd，一种实时、高精度的PCB缺陷检测方法，通过在 YOLOv5 中引入基于分层残差连接和 Res2Net 的新型多尺度模块，提升不同尺寸缺陷的特征提取能力。该方法在 PKU-Market-PCB 数据集上实现了 SOTA 性能，mAP 达 95.8%，AP50 达 99.6%，F1 分数达 85.6%，展现出卓越的精度、鲁棒性以及实时推理能力（92 FPS）。

ABSTRACT

With the rapid growth of the PCB manufacturing industry, there is an increasing demand for computer vision inspection to detect defects during production. Improving the accuracy and generalization of PCB defect detection models remains a significant challenge. This paper proposes a high-precision, robust, and real-time end-to-end method for PCB defect detection based on deep Convolutional Neural Networks (CNN). Traditional methods often suffer from low accuracy and limited applicability. We propose a novel approach combining YOLOv5 and multiscale modules for hierarchical residual-like connections. In PCB defect detection, noise can confuse the background and small targets. The YOLOv5 model provides a strong foundation with its real-time processing and accurate object detection capabilities. The multi-scale module extends traditional approaches by incorporating hierarchical residual-like connections within a single block, enabling multiscale feature extraction. This plug-and-play module significantly enhances performance by extracting features at multiple scales and levels, which are useful for identifying defects of varying sizes and complexities. Our multi-scale architecture integrates feature extraction, defect localization, and classification into a unified network. Experiments on a large-scale PCB dataset demonstrate significant improvements in precision, recall, and F1-score compared to existing methods. This work advances computer vision inspection for PCB defect detection, providing a reliable solution for high-precision, robust, real-time, and domain-adaptive defect detection in the PCB manufacturing industry.

研究动机与目标

• 解决现有 PCB 缺陷检测方法因噪声、小目标和制造变异导致的精度低与泛化能力有限的问题。
• 提升深度学习模型在多样化 PCB 布局、元器件排布和焊接条件下的鲁棒性与领域适应能力。
• 实现实时性能（高 FPS）而不牺牲检测精度，以适配高速生产线的集成需求。
• 通过可即插即用的多尺度模块结合分层残差连接，增强对多尺度缺陷的特征表示能力。
• 提供统一的端到端解决方案，集成特征提取、定位与分类，实现高效且精准的缺陷检测。

提出的方法

• 将新型多尺度模块集成到 YOLOv5 中，利用单个模块内的分层残差连接结构，实现多尺度特征提取。
• 用结合 Darknet-53 与 Res2Net 的混合架构替代 YOLOv5 的主干网络，以增强多尺度特征学习与表征能力。
• 利用 YOLOv5 框架的实时端到端检测能力，实现在工业场景中的高效推理。
• 应用数据增强技术以提升模型泛化能力，降低对大规模标注数据集的依赖。
• 设计一种即插即用模块，可轻松集成至现有 YOLO 基础网络，提升对小尺寸及复杂缺陷的检测性能。
• 采用序列图像作为输入，以增强上下文理解能力，减少由噪声和背景杂乱引起的误报。

实验结果

研究问题

• RQ1 具有分层残差连接的多尺度模块是否能有效提升对不同尺寸与复杂度 PCB 缺陷的特征提取能力？
• RQ2 将 YOLOv5 与 Res2Net 结合，是否能在真实工业 PCB 检测场景中显著提升检测精度与鲁棒性？
• RQ3 与现有单阶段与两阶段检测器相比，YOLO-pdd 模型在精度、召回率、F1 分数与推理速度方面提升程度如何？
• RQ4 该模型是否能在无需微调的情况下，泛化至多样化的 PCB 布局与制造变异场景？
• RQ5 使用序列图像是否能通过减少背景噪声并增强上下文感知能力，提升缺陷检测的可靠性？

主要发现

• YOLO-pdd 在 PKU-Market-PCB 数据集上达到 95.8% 的平均精度（mAP），显著优于 YOLOv5（94.4%）及其他 SOTA 模型。
• 模型获得 99.6% 的 AP50，表明在 IoU 阈值为 0.5 时具备高精度缺陷检测能力，验证了其出色的定位准确性。
• YOLO-pdd 实现 85.6% 的 F1 分数，远超 YOLOv5（35.4%）及其他单阶段检测器，表明其具备良好的精确率与召回率平衡。
• 模型运行速度达 92 FPS，超过 YOLOv5（75 FPS）及其他领先模型，证实其具备工业部署所需的实时能力。
• 结合分层残差连接的多尺度模块可有效学习小、中、大尺寸缺陷的特征，提升检测鲁棒性。
• 将 Res2Net 集成至 YOLOv5 有效增强了多尺度表征学习能力，显著提升对复杂与多样化缺陷类型的检测性能。