[论文解读] Self-Healing Robust Neural Networks via Closed-Loop Control

Zhuotong Chen, Qianxiao Li+1 more|arXiv (Cornell University)|Jun 26, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种后训练、闭环控制框架，用于自愈神经网络，可自动检测并纠正因未预见的扰动或攻击引起的错误，且无需事先了解攻击类型。通过利用庞特里亚金最大值原理和基于间隔的分析，该方法在多种扰动类型（ℓ₁、ℓ₂、ℓ∞）下均增强了鲁棒性，在CIFAR-10上对AutoAttack的准确率提升超过60%。

ABSTRACT

Despite the wide applications of neural networks, there have been increasing concerns about their vulnerability issue. While numerous attack and defense techniques have been developed, this work investigates the robustness issue from a new angle: can we design a self-healing neural network that can automatically detect and fix the vulnerability issue by itself? A typical self-healing mechanism is the immune system of a human body. This biology-inspired idea has been used in many engineering designs but is rarely investigated in deep learning. This paper considers the post-training self-healing of a neural network, and proposes a closed-loop control formulation to automatically detect and fix the errors caused by various attacks or perturbations. We provide a margin-based analysis to explain how this formulation can improve the robustness of a classifier. To speed up the inference of the proposed self-healing network, we solve the control problem via improving the Pontryagin Maximum Principle-based solver. Lastly, we present an error estimation of the proposed framework for neural networks with nonlinear activation functions. We validate the performance on several network architectures against various perturbations. Since the self-healing method does not need a-priori information about data perturbations/attacks, it can handle a broad class of unforeseen perturbations.

研究动机与目标

• 解决神经网络在实际部署中对未预见的数据扰动和硬件故障的脆弱性这一关键挑战。
• 克服现有防御方法依赖于对攻击类型或数据分布的先验假设的局限性。
• 通过基于控制理论原则的自主错误检测与纠正，实现在训练后对鲁棒性的增强。
• 设计一种受生物免疫系统启发的自愈机制，适用于标准模型和经过鲁棒训练的模型。
• 通过避免依赖特定攻击模型或数据特征，确保在各种未知扰动下的广泛适用性。

提出的方法

• 构建一个闭环控制系统，其中输入层和隐藏层的嵌入函数可实时检测潜在错误。
• 实施一种控制过程，通过基于庞特里亚金最大值原理推导出的控制损失函数调整神经元激活，以纠正检测到的错误。
• 利用基于间隔的分析，从理论上证明该控制机制可增大决策边界的间隔，从而增强鲁棒性。
• 通过连续逼近法改进最优控制问题的数值求解器，以加快推理速度。
• 将嵌入函数设计为去噪自编码器，通过训练使其将输入投影到鲁棒流形上，从而在扰动下仍能保持分类性能。
• 将控制机制集成到预训练模型中，无需重新训练，从而实现在推理阶段的后处理鲁棒性提升。

实验结果

研究问题

• RQ1 闭环控制框架是否能够实现在训练后对神经网络的自愈，以纠正由未知或未预见的扰动引起的错误？
• RQ2 所提出的控制机制如何在无需事先了解攻击类型或数据分布的情况下提升鲁棒性？
• RQ3 基于间隔的控制公式在多大程度上能增强分类器在不同扰动范数下的泛化能力和鲁棒性？
• RQ4 在白盒设置下（攻击者完全了解控制机制），该方法的有效性如何？
• RQ5 通过庞特里亚金最大值原理实现的最优控制是否能在推理时间内高效求解，以保证实际部署的可行性？

主要发现

• 所提出的自愈框架在CIFAR-10上对AutoAttack的ℓ∞、ℓ₂和ℓ₁扰动均提升了鲁棒性，标准模型的准确率超过60%，鲁棒训练模型的准确率超过50%。
• 在ResNet-18上，该方法在ℓ∞-PGD攻击（ε=8/255）下达到87.04%的准确率，在ℓ₁攻击（ε=12）下达到73.04%，显著优于无控制时的基线准确率0%。
• 在白盒设置下，攻击者已知控制机制时，该方法在AutoAttack下仍比对抗训练基线平均提升0.5%–1%的准确率。
• 使用两层去噪自编码器作为嵌入函数，可实现有效的流形学习，使控制系统的隐藏表示中能有效检测并纠正扰动。
• 该方法在多个模型架构（ResNet-18、-34、-50，WRN-28-8，WRN-34-8）上均保持高性能，展现出广泛的适用性和泛化能力。
• 理论分析证实，控制损失可增大分类器的间隔，为鲁棒性提升提供了原则性解释。