[论文解读] Robust Learning with Jacobian Regularization

Judy Hoffman, Daniel A. Roberts+1 more|arXiv (Cornell University)|Aug 7, 2019

Adversarial Robustness in Machine Learning参考文献 42被引用 41

一句话总结

本文引入雅可比正则化以最小化输入-输出雅可比矩阵的 Frobenius 范数，从而使神经网络对随机和对抗性输入扰动更加鲁棒，同时在干净数据上的性能得以保持。

ABSTRACT

Design of reliable systems must guarantee stability against input perturbations. In machine learning, such guarantee entails preventing overfitting and ensuring robustness of models against corruption of input data. In order to maximize stability, we analyze and develop a computationally efficient implementation of Jacobian regularization that increases classification margins of neural networks. The stabilizing effect of the Jacobian regularizer leads to significant improvements in robustness, as measured against both random and adversarial input perturbations, without severely degrading generalization properties on clean data.

研究动机与目标

• 在面对输入扰动和过拟合时，推动学习系统的鲁棒性。
• 提出一种计算高效的雅可比正则化器，能够增大分类边界。
• 证明雅可比正则化在不削弱干净数据性能的前提下，提升对随机和对抗性扰动的鲁棒性。
• 提供一种与高效 SGD 兼容的算法，使用随机投影实现雅可比惩罚。
• 展示该方法与现有正则化器及领域自适应方法的兼容性。

提出的方法

• 定义输入-输出雅可比矩阵，并将最小化其 Frobenius 范数作为鲁棒性目标进行论证。
• 将雅可比正则化项整合进训练损失，形式为 L_joint = L_bare + (lambda_JR/2) * (1/|B|) sum_{alpha in B} ||J(x^alpha)||_F^2。
• 提出一种高效的近似算法，使用随机投影在 SGD 流水线中估计雅可比范数及其梯度。
• 提供一种通过对雅可比进行反向传播以获得精确梯度的替代方法作为参考（成本更高）。
• 分析收敛性并在经验上显示精确方法与近似方法之间差异很小。
• 在 MNIST 与 LeNet’ 上进行评估，证明在与其他正则化器结合时，对白噪声和对抗性攻击（FGSM、PGD、CW）以及域泛化（USPS）的鲁棒性得到提升。

实验结果

研究问题

• RQ1 Jacobian 正则化是否提高非线性网络的分类边界并稳定决策边界？
• RQ2 在 SGD 中是否能高效地最小化输入-输出雅可比的 Frobenius 范数而不产生过高开销？
• RQ3 Jacobian 正则化是否在不牺牲干净数据准确性的前提下，提升对随机输入噪声及对抗性扰动（FGSM、PGD、CW）的鲁棒性？
• RQ4 Jacobian 正则化如何与如 L2、dropout 等其他正则化方法以及领域自适应技术相互作用？
• RQ5 在实践中，近似的随机投影实现在效果上是否等同于精确的 Jacobian 正则化？

主要发现

• Jacobian 正则化扩张决策单元并降低非线性网络的不稳定性，与之相对，标准的 L2 会使其平滑但不一定扩大边界。
• 在 MNIST 上用 LeNet’ 训练时，Jacobian 正则化获得与干净数据相似的准确度，但雅可比范数显著更小。
• Jacobian 正则化对白噪声的鲁棒性比其他正则化器更有效，且单独使用时优于基线对抗防御。
• 近似的随机投影实现的 Jacobian 正则化在准确度和雅可比幅值上与精确方法非常接近，只有温和的额外计算开销。
• 正则化器（包括 Jacobian，单独使用或与 L2 和 dropout 结合）在 MNIST 上训练时，能够提高对未见域（如 USPS）的泛化能力。