[论文解读] Towards Robust, Locally Linear Deep Networks

Guang-He Lee, David Alvarez-Melis+1 more|arXiv (Cornell University)|Jul 7, 2019

Adversarial Robustness in Machine Learning参考文献 50被引用 15

一句话总结

本文提出了一种新颖的训练目标——Roll（Robust, locally linear deep learning），以增强具有分段线性激活函数的深度网络中的梯度稳定性。通过利用ℓ₂边界约束和一种松弛的SVM类优化方法，识别并扩展具有可证明稳定导数的区域，该方法提升了局部线性近似的鲁棒性——在图像和序列任务中，表现为梯度更加稳定，且准确率略有提升。

ABSTRACT

Deep networks realize complex mappings that are often understood by their locally linear behavior at or around points of interest. For example, we use the derivative of the mapping with respect to its inputs for sensitivity analysis, or to explain (obtain coordinate relevance for) a prediction. One key challenge is that such derivatives are themselves inherently unstable. In this paper, we propose a new learning problem to encourage deep networks to have stable derivatives over larger regions. While the problem is challenging in general, we focus on networks with piecewise linear activation functions. Our algorithm consists of an inference step that identifies a region around a point where linear approximation is provably stable, and an optimization step to expand such regions. We propose a novel relaxation to scale the algorithm to realistic models. We illustrate our method with residual and recurrent networks on image and sequence datasets.

研究动机与目标

• 解决深度网络中梯度不稳定性的问题，该问题会损害局部线性近似的可解释性和鲁棒性。
• 聚焦于分段线性网络（如ReLU-based网络），以实现对导数稳定性可 tractable 的分析。
• 开发一种学习准则，以最大化在输入点周围导数具有可证明稳定性的ℓ₂边界。
• 设计可扩展的推理与优化算法，以在无需反向传播的情况下处理高维数据。
• 提升基于梯度的解释的可靠性，并增强模型对小输入扰动的鲁棒性，以改善模型解释。

提出的方法

• 将线性区域定义为输入空间中激活模式保持恒定的可行集，以确保导数稳定。
• 使用解析的ℓ₂边界约束来量化围绕给定输入的具有可证明稳定梯度的区域大小。
• 制定一种类似于SVM的松弛优化问题，以最大化ℓ₂边界，从而实现可扩展的训练。
• 提出一种新型基于扰动的前向传播方法，可并行计算O(D)个输入的精确梯度，避免使用反向传播。
• 在高维设置下，当完整的O(D)样本无法装入GPU内存时，引入一种无偏随机近似方法。
• 在训练过程中应用Roll损失，以鼓励网络中不同线性区域的更广泛稳定导数区域。

实验结果

研究问题

• RQ1 我们能否识别并扩展深度网络中具有分段线性激活函数的输入空间区域，使其梯度具有可证明的稳定性？
• RQ2 如何将梯度稳定性边界计算扩展到高维数据（如图像和序列）？
• RQ3 优化稳定梯度在多大程度上能提升局部线性近似的鲁棒性以及模型的可解释性？
• RQ4 与标准训练相比，所提出的Roll损失是否能带来更稳定的梯度，特别是在小输入扰动下？
• RQ5 该方法是否能在不同网络架构（如ResNet和RNN）上泛化，同时保持梯度稳定性？

主要发现

• Roll损失显著提升了梯度稳定性，表现为对抗性扰动实验中最大和期望ℓ₁梯度失真更低。
• 在Caltech-256数据集上，仅40/1024个测试图像在Roll损失下出现梯度失真预测，而标准训练下为42个，表明鲁棒性更强。
• 可视化结果显示，Roll训练的模型产生稳定且一致的梯度模式，而标准模型则表现出噪声大且不一致的梯度。
• 所提出的扰动算法可并行计算O(D)个输入的精确梯度，减少对反向传播的依赖，提升可扩展性。
• 该方法在架构上具有泛化能力：在全连接、残差（ResNet）和循环（RNN）网络上对图像和时间序列数据均有效。
• Roll损失在Caltech-256上实现了略高的P@1和P@5精度，表明在提升梯度稳定性的同时也改善了泛化能力。