[论文解读] Vision-based inspection system employing computer vision & neural networks for detection of fractures in manufactured components.

Sarthak J. Shetty|arXiv (Cornell University)|Jan 25, 2019

Industrial Vision Systems and Defect Detection参考文献 9被引用 12

一句话总结

本文提出了一种混合视觉检测系统，结合 OpenCV 进行边缘检测与在 TensorFlow 中微调的 Inception V3 模型，以检测制造齿轮的表面裂纹。该系统使用包含 400 张图像（200 张正常，200 张有裂纹）的数据集训练深度学习模型，能够以高准确率区分有缺陷与无缺陷的齿轮，人类操作员通过计算机视觉输出对模糊预测进行验证。

ABSTRACT

We are proceeding towards the age of automation and robotic integration of our production lines [5]. Effective quality-control systems have to be put in place to maintain the quality of manufactured components. Among different quality-control systems, vision-based inspection systems have gained considerable amount of popularity [8] due to developments in computing power and image processing techniques. In this paper, we present a vision-based inspection system (VBI) as a quality-control system, which not only detects the presence of defects, such as in conventional VBIs, but also leverage developments in machine learning to predict the presence of surface fractures and wearing. We use OpenCV, an open source computer-vision framework, and Tensorflow, an open source machine-learning framework developed by Google Inc., to accomplish the tasks of detection and prediction of presence of surface defects such as fractures of manufactured gears.

研究动机与目标

• 开发一种用于检测制造齿轮表面裂纹的自动化、实时质量检测系统。
• 整合计算机视觉与机器学习技术，以实现超越传统图像处理的缺陷检测能力。
• 通过深度学习模型的概率预测减少对人工检测的依赖。
• 利用计算机视觉子系统输出对模型预测进行人工操作员审核。
• 通过结合边缘检测滤波器与小规模、针对性数据集的迁移学习，提升检测准确率。

提出的方法

• 系统使用 OpenCV 对灰度图像应用一组四通道卷积滤波器（Sobel X、Sobel Y、Laplacian 和 Sharpen），以突出显示边缘和潜在裂纹。
• 采用灰度化处理以降低计算负载，提升嵌入式系统（如 FPGA）的处理效率。
• 通过迁移学习对预训练的 Inception V3 模型进行微调，通过在自定义的 400 张齿轮图像数据集（200 张正常，200 张有裂纹）上重新训练其最后几层。
• 数据集通过 Google Images 网页爬虫获取，确保涵盖多样化的齿轮缺陷视觉样本。
• 采用 60% 训练集、20% 验证集和 20% 测试集的划分方式训练模型，以防止过拟合并评估泛化能力。
• 预测采用概率方式：若 '损坏齿轮' 的概率超过 0.5，则判定该部件需拒收。

实验结果

研究问题

• RQ1 与传统方法相比，结合传统计算机视觉与深度学习的混合系统是否能提升制造齿轮的裂纹检测效果？
• RQ2 在小规模、自定义的齿轮图像数据集上，使用 Inception V3 的迁移学习在分类表面裂纹方面效果如何？
• RQ3 基于 OpenCV 的边缘检测在多大程度上可与深度学习预测互补，以减少误报或漏检？
• RQ4 通过计算机视觉输出实现人机协同验证，如何提升系统的可靠性？
• RQ5 数据集规模对模型预测准确率与泛化能力有何影响？

主要发现

• 微调后的 Inception V3 模型在训练和验证阶段均达到高准确率，交叉熵随时间下降，表明学习过程有效。
• 系统正确分类了大部分齿轮图像，测试集中仅出现少数误分类情况，如表 II 所示。
• 在某一例（序列号 2）中，模型错误地将正常齿轮标记为损坏，凸显了数据集规模不足带来的局限性。
• 使用灰度图像与卷积滤波器显著提升了处理速度并降低了计算负载。
• 通过 OpenCV 提供视觉反馈，使人工操作员能够验证模糊预测，从而增强系统可靠性。
• 模型性能对数据集规模较为敏感，建议扩大数据集以减少误分类错误。