[论文解读] TinyDefectNet: Highly Compact Deep Neural Network Architecture for High-Throughput Manufacturing Visual Quality Inspection

Mohammad Javad Shafiee, Mahmoud Famouri+3 more|arXiv (Cornell University)|Nov 28, 2021

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

TinyDefectNet 是一种高度紧凑的深度卷积神经网络架构，专为高吞吐量制造环境中的视觉质量检测而设计，通过机器驱动的生成合成方法，在仅约 427K 参数和约 97M 次浮点运算（FLOPs）的情况下实现了最先进的缺陷检测精度。它在原生 TensorFlow 下实现比 ResNet-50 快 9 倍的推理速度，在 AMD ZenDNN 下也实现了 9 倍的加速，同时保持 98% 的准确率，并通过可解释性驱动的验证机制增强了可信度。

ABSTRACT

A critical aspect in the manufacturing process is the visual quality inspection of manufactured components for defects and flaws. Human-only visual inspection can be very time-consuming and laborious, and is a significant bottleneck especially for high-throughput manufacturing scenarios. Given significant advances in the field of deep learning, automated visual quality inspection can lead to highly efficient and reliable detection of defects and flaws during the manufacturing process. However, deep learning-driven visual inspection methods often necessitate significant computational resources, thus limiting throughput and act as a bottleneck to widespread adoption for enabling smart factories. In this study, we investigated the utilization of a machine-driven design exploration approach to create TinyDefectNet, a highly compact deep convolutional network architecture tailored for high-throughput manufacturing visual quality inspection. TinyDefectNet comprises of just ~427K parameters and has a computational complexity of ~97M FLOPs, yet achieving a detection accuracy of a state-of-the-art architecture for the task of surface defect detection on the NEU defect benchmark dataset. As such, TinyDefectNet can achieve the same level of detection performance at 52$\ imes$ lower architectural complexity and 11x lower computational complexity. Furthermore, TinyDefectNet was deployed on an AMD EPYC 7R32, and achieved 7.6x faster throughput using the native Tensorflow environment and 9x faster throughput using AMD ZenDNN accelerator library. Finally, explainability-driven performance validation strategy was conducted to ensure correct decision-making behaviour was exhibited by TinyDefectNet to improve trust in its usage by operators and inspectors.

研究动机与目标

• 解决在计算资源和延迟要求严格的高吞吐量制造环境中部署高效深度学习模型的挑战。
• 克服如 ResNet-50 等现成模型因过大过慢而难以实现实时工业部署的局限性。
• 开发一种高度紧凑、准确且高效的深度学习架构，专门针对制造过程中的表面缺陷检测任务。
• 通过可解释性驱动的性能验证，确保模型的可靠性并增强操作人员的信任。
• 展示利用生成合成方法进行机器驱动的设计探索在工业计算机视觉应用中的有效性。

提出的方法

• 采用生成合成——一种机器驱动的设计探索方法——通过生成器-质询者配对，自动搜索最优的微观和宏观架构组件。
• 将架构设计建模为约束优化问题，基于性能和效率指标迭代优化候选架构。
• 在 NEU 表面缺陷基准数据集上训练并评估最终架构，用于表面缺陷检测。
• 在 AMD EPYC 7R32 CPU 上部署 TinyDefectNet，并利用 ZenDNN 加速器库在不重新编译模型的前提下提升推理速度。
• 应用先前工作中提出的定量可解释性策略，审计决策过程，确保预测基于相关缺陷特征。
• 通过调优 ZenDNN 环境变量（包括内存池和线程亲和性设置）优化推理性能。

实验结果

研究问题

• RQ1 机器驱动的设计探索策略能否生成一种深度神经网络架构，使其在制造缺陷检测任务中实现最先进的精度，同时相比现成模型显著更小更快？
• RQ2 在真实部署场景中，所提出的 TinyDefectNet 架构与标准架构（如 ResNet-50）相比，在推理速度和模型复杂度方面表现如何？
• RQ3 ZenDNN 加速器库在无需模型转换的前提下，能在多大程度上提升 TinyDefectNet 在 AMD CPU 上的推理吞吐量？
• RQ4 可解释性驱动的验证策略是否能有效确认 TinyDefectNet 的决策基于实际的缺陷相关视觉特征？
• RQ5 生成合成方法能否可靠地生成适用于工业视觉检测任务的紧凑且高性能的模型？

主要发现

• TinyDefectNet 在 NEU 表面缺陷基准数据集上实现了 98% 的检测准确率，尽管参数量远小于 ResNet-50，但性能与之相当。
• 该模型仅包含约 427K 个参数和约 97M 次 FLOPs，相比 ResNet-50，架构复杂度降低了 52 倍，计算复杂度降低了 11 倍。
• 在 AMD EPYC 7R32 CPU 上，TinyDefectNet 在原生 TensorFlow 下的推理速度比 ResNet-50 快 7.6 倍，单张图像的推理时间从 19 ms 降低至 2.5 ms。
• 当与 ZenDNN 加速器库结合部署时，TinyDefectNet 在原生 TensorFlow 下的推理速度比 ResNet-50 快 9 倍，推理时间降至约 2 ms。
• 可解释性驱动的验证确认，TinyDefectNet 正确地通过关注相关缺陷模式来识别划痕类缺陷，从而增强了模型的可信度。
• 最优的 ZenDNN 配置（如启用内存池、线程亲和性）进一步提升了性能，相比原生推理实现了 1.2 倍的加速，证明了运行时调优的重要影响。