[论文解读] Persistency of Excitation for Robustness of Neural Networks

Kamil Nar, S. Shankar Sastry|arXiv (Cornell University)|Nov 4, 2019

Neural Networks and Applications参考文献 26被引用 13

一句话总结

本文研究了损失函数选择（特别是交叉熵与平方误差）如何通过分析训练过程中网络权重的持续激励性，影响神经网络的鲁棒性。结果表明，交叉熵损失会导致决策边界 margin 变差，原因是低维子空间中支持向量的激励不足。为此，本文提出一种受线性模型启发的正则化方法，以强制实现持续激励，从而提升对对抗样本的鲁棒性。

ABSTRACT

When an online learning algorithm is used to estimate the unknown parameters of a model, the signals interacting with the parameter estimates should not decay too quickly for the optimal values to be discovered correctly. This requirement is referred to as persistency of excitation, and it arises in various contexts, such as optimization with stochastic gradient methods, exploration for multi-armed bandits, and adaptive control of dynamical systems. While training a neural network, the iterative optimization algorithm involved also creates an online learning problem, and consequently, correct estimation of the optimal parameters requires persistent excitation of the network weights. In this work, we analyze the dynamics of the gradient descent algorithm while training a two-layer neural network with two different loss functions, the squared-error loss and the cross-entropy loss; and we obtain conditions to guarantee persistent excitation of the network weights. We then show that these conditions are difficult to satisfy when a multi-layer network is trained for a classification task, for the signals in the intermediate layers of the network become low-dimensional during training and fail to remain persistently exciting. To provide a remedy, we delve into the classical regularization terms used for linear models, reinterpret them as a means to ensure persistent excitation of the model parameters, and propose an algorithm for neural networks by building an analogy. The results in this work shed some light on why adversarial examples have become a challenging problem for neural networks, why merely augmenting training data sets will not be an effective approach to address them, and why there may not exist a data-independent regularization term for neural networks, which involve only the model parameters but not the training data.

研究动机与目标

• 理解为何深度神经网络在准确率很高的情况下仍对微小输入扰动敏感。
• 探究训练损失函数的选择（尤其是交叉熵损失）是否导致这种鲁棒性不足。
• 分析持续激励在神经网络训练过程中梯度下降动力学中的作用。
• 识别网络权重无法保持持续激励的条件，特别是在更深的网络中。
• 基于持续激励原理，提出一种受经典线性模型正则化启发的神经网络正则化策略。

提出的方法

• 分析使用平方误差和交叉熵损失函数的两层神经网络的梯度下降动力学。
• 推导出训练过程中网络权重实现持续激励的条件，表明交叉熵损失会导致非支持向量梯度贡献的快速衰减。
• 对使用交叉熵损失训练的线性分类器进行 margin 分析，证明 margin 大小取决于仿射子空间中支持向量的几何结构。
• 将经典正则化项（如 L2）重新解释为强制实现模型参数持续激励的机制。
• 通过模拟线性模型中观察到的持续激励行为，提出一种用于深度网络的新正则化算法。
• 通过理论分析与实证验证表明，交叉熵损失下 margin 形成不良的原因在于支持向量的低维配置。

实验结果

研究问题

• RQ1 为何使用交叉熵损失训练的神经网络对微小输入扰动表现出较差的鲁棒性？
• RQ2 在输入空间中，支持向量的几何结构如何影响使用交叉熵损失时的 margin 大小？
• RQ3 网络权重缺乏持续激励在多大程度上导致了对抗脆弱性？
• RQ4 传统线性模型中使用的正则化项能否被重新解释为在神经网络中强制实现持续激励的机制？
• RQ5 是否可能设计一种与数据无关的深度网络正则化方法，通过确保持续激励来提升鲁棒性？

主要发现

• 即使使用相同的网络架构和优化算法，使用交叉熵损失训练的神经网络其决策 margin 显著小于使用平方误差损失训练的网络。
• 通过交叉熵损失训练的线性分类器的 margin 上限为 $ \frac{1}{\sqrt{\frac{1}{\gamma_{\text{OPT}}^2} + B^2 \sum_{k \in K} \Delta_k^2}} $，其中 $ \gamma_{\text{OPT}} $ 为最优 SVM margin，$ B $ 取决于支持向量的偏置。
• 当支持向量位于低维仿射子空间时，由于 $ \sum_{k \in K} \Delta_k^2 $ 增大，margin 进一步缩小，使得实现鲁棒性更加困难。
• margin 边界中的偏置项 $ B $ 无法通过数据预处理消除，因为它依赖于事先未知的支持向量。
• 缺乏持续激励（尤其是来自非支持向量的激励）会导致其梯度影响迅速衰减，从而使优化过程仅聚焦于最关键点。
• 经典正则化项（如 L2）可被重新解释为强制实现持续激励的工具，提示了一种新的鲁棒神经网络训练设计原则。