[论文解读] Runtime Monitoring Neuron Activation Patterns

Chih‐Hong Cheng, Georg Nührenberg+1 more|arXiv (Cornell University)|Sep 18, 2018

Adversarial Robustness in Machine Learning参考文献 10被引用 7

一句话总结

本文提出在神经网络运行时监控神经元激活模式，以检测超出模型训练分布的决策。通过使用BDD存储训练数据中的ReLU激活模式，并利用基于汉明距离的抽象方法实时检查输入，该方法能以极低的误报率标记不可靠预测——在GTSRB数据集上最高可检测54.54%的误分类，且运行开销极小。

ABSTRACT

For using neural networks in safety critical domains, it is important to know if a decision made by a neural network is supported by prior similarities in training. We propose runtime neuron activation pattern monitoring - after the standard training process, one creates a monitor by feeding the training data to the network again in order to store the neuron activation patterns in abstract form. In operation, a classification decision over an input is further supplemented by examining if a pattern similar (measured by Hamming distance) to the generated pattern is contained in the monitor. If the monitor does not contain any pattern similar to the generated pattern, it raises a warning that the decision is not based on the training data. Our experiments show that, by adjusting the similarity-threshold for activation patterns, the monitors can report a significant portion of misclassfications to be not supported by training with a small false-positive rate, when evaluated on a test set.

研究动机与目标

• 为解决在自动驾驶等安全关键系统中检测神经网络在训练分布外做出决策的挑战。
• 提供一种形式化且可靠的方法，检测‘分布外’输入，而不依赖于概率保证。
• 通过监控接近输出层的高层特征模式，实现实时验证神经网络决策。
• 在抽象粗细程度上实现平衡，使监控器既不过于敏感也不过于宽松，确保实际可用性。
• 将监控器集成到真实世界系统中，作为传感器融合与决策可靠性方面的信任信号。

提出的方法

• 训练完成后，网络处理所有正确分类的训练数据，记录高层神经元中ReLU的开/关激活模式。
• 使用二叉决策图（BDD）对激活模式进行抽象并存储，以实现高效的符号化操作。
• 通过存在量词扩展监控器，纳入与已知模式在可配置汉明距离（γ）内的模式，实现泛化能力。
• 利用基于梯度的敏感性分析，仅选择并监控最关键神经元，从而减少BDD变量数量，提升可扩展性。
• 使用验证集调优汉明距离阈值（γ），使模式外检测与误分类具有强相关性。
• 推理过程中，监控器检查当前激活模式是否在抽象化模式空间内；若否，则发出潜在不可靠性的警告。

实验结果

研究问题

• RQ1 我们能否检测到神经网络基于训练期间未见过的激活模式做出决策？
• RQ2 如何在监控器中平衡抽象的粗细程度，以避免过度误报和漏报？
• RQ3 基于BDD的监控器结合汉明距离泛化，能在多大程度上以低误报率检测误分类？
• RQ4 该方法能否应用于自动驾驶等真实世界的安全关键系统（如感知模块）？
• RQ5 该监控器在不同数据集和网络架构上的性能表现如何？

主要发现

• 在MNIST数据集上，γ=2时，监控器检测到99.4%的模式外输入，并将其中31.66%标记为潜在误分类，且仅0.6%的误报率。
• 在GTSRB基准上，γ=3时，监控器在4.58%的操作中发出警告，其中54.54%的案例被正确识别为误分类。
• 在GTSRB上，监控器对95.42%的操作保持沉默，表明尽管检测能力高，但运行干扰极低。
• 该方法实现了对训练数据模式的可靠过度近似，确保任何警告均对应真实未见过的激活模式。
• 基于梯度的神经元选择显著降低了BDD复杂度，使该方法可扩展至包含数百个神经元的大规模网络。
• 该方法适用于目标检测网络（如YOLO），并通过使用更精细的抽象域（如差分边界矩阵）进一步扩展。