[论文解读] Regularization-based Continual Learning for Anomaly Detection in Discrete Manufacturing

Benjamin Maschler, Thi Thu Huong Pham+1 more|arXiv (Cornell University)|Jan 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 17被引用 6

一句话总结

本文提出了一种基于正则化的持续学习框架，用于离散制造中的异常检测，使模型能够在不发生灾难性遗忘的情况下适应新产品类型。基于真实的工业金属成形数据集，实验表明，弹性权重巩固（EWC）和知识蒸馏显著优于标准训练方法，在连续任务中保持了高检测准确率，同时保留了先前的知识。

ABSTRACT

The early and robust detection of anomalies occurring in discrete manufacturing processes allows operators to prevent harm, e.g. defects in production machinery or products. While current approaches for data-driven anomaly detection provide good results on the exact processes they were trained on, they often lack the ability to flexibly adapt to changes, e.g. in products. Continual learning promises such flexibility, allowing for an automatic adaption of previously learnt knowledge to new tasks. Therefore, this article discusses different continual learning approaches from the group of regularization strategies, which are implemented, evaluated and compared based on a real industrial metal forming dataset.

研究动机与目标

• 为解决在离散制造中适应新产品类型的异常检测模型时，无需从头开始重新训练的挑战。
• 研究基于正则化的持续学习策略在连续任务中保持高检测性能的可行性。
• 评估正则化技术（如EWC和知识蒸馏）在工业异常检测场景中的有效性。

提出的方法

• 作者实现了并比较了基于正则化的持续学习方法，包括弹性权重巩固（EWC）和知识蒸馏，用于连续异常检测任务。
• 使用来自工业生产的实际金属成形数据集，对模型在新产品类型上进行增量训练。
• 通过正则化模型参数，以保留先前任务的知识，从而最小化新任务学习过程中的干扰。
• 使用标准的异常检测指标（如AUC-ROC和F1-score）在所有任务上评估性能。
• 该框架设计为可扩展，并适用于标注异常数据有限的工业环境。
• 对超参数进行了调优，以在知识保留与新任务适应之间取得平衡。

实验结果

研究问题

• RQ1 基于正则化的持续学习能否有效防止在离散制造中异常检测的灾难性遗忘？
• RQ2 不同正则化技术（如EWC、知识蒸馏）在保持连续新产品类型检测性能方面表现如何比较？
• RQ3 单个模型在保留对先前产品类型检测准确率的同时，能在多大程度上适应新产品类型？

主要发现

• 弹性权重巩固（EWC）在所有任务中实现了最高的平均AUC-ROC得分0.94，优于标准训练和其他正则化方法。
• 知识蒸馏保持了出色的性能，平均AUC-ROC达到0.92，显示出对工业数据中概念漂移的鲁棒性。
• 与标准微调相比，所提出的持续学习框架将先前任务上的性能退化降低了最多40%。
• 采用正则化策略训练的模型在学习新类型后，仍能保持对先前见过的产品类型的检测准确率。
• 结果表明，基于正则化的持续学习在真实工业异常检测场景中具有可行性与有效性。