[论文解读] Theoretically Principled Trade-off between Robustness and Accuracy

Hongyang Zhang, Yaodong Yu+4 more|arXiv (Cornell University)|Jan 24, 2019

Adversarial Robustness in Machine Learning参考文献 68被引用 919

一句话总结

该论文将鲁棒误差分解为自然误差与边界误差，通过分类校准损失推导出紧致的代理上界，并引入 TRADES 以在对抗鲁棒性和自然准确性之间取得平衡，在经验上结果强劲。

ABSTRACT

We identify a trade-off between robustness and accuracy that serves as a guiding principle in the design of defenses against adversarial examples. Although this problem has been widely studied empirically, much remains unknown concerning the theory underlying this trade-off. In this work, we decompose the prediction error for adversarial examples (robust error) as the sum of the natural (classification) error and boundary error, and provide a differentiable upper bound using the theory of classification-calibrated loss, which is shown to be the tightest possible upper bound uniform over all probability distributions and measurable predictors. Inspired by our theoretical analysis, we also design a new defense method, TRADES, to trade adversarial robustness off against accuracy. Our proposed algorithm performs well experimentally in real-world datasets. The methodology is the foundation of our entry to the NeurIPS 2018 Adversarial Vision Challenge in which we won the 1st place out of ~2,000 submissions, surpassing the runner-up approach by $11.41\%$ in terms of mean $\ell_2$ perturbation distance.

研究动机与目标

• 动机化并形式化对抗性分类中的鲁棒性与准确性之间的权衡。
• 将鲁棒误差分解为自然误差与边界误差，并用代理损失对其进行界定。
• 提供一个经过分类校准的理论框架，具有紧密的上界和下界。
• 设计并评估一个防御（TRADES），该防御在准确性与鲁棒性之间优化权衡。

提出的方法

• 为对抗性扰动定义鲁棒误差和自然误差及其边界项。
• 使用经过分类校准的代理损失来推导鲁棒性相关误差的可微上界。
• 提出一个在自然准确性和边界引起的鲁棒性之间权衡的优化目标（TRADES）。
• 通过将 lambda 作为可调正则化参数，将代理风险界与实际训练过程联系起来。
• 扩展到带有校准损失的多分类设置，并给出一个交替梯度训练方法（算法 1）。
• 讨论与早前的鲁棒优化和基于正则化的防御的联系，并在理论与经验上进行比较。

实验结果

研究问题

• RQ1 对抗性扰动的鲁棒性如何在理论上与分类中的标准准确性相关联？
• RQ2 鲁棒误差能否分解为自然误差和边界误差，并给出紧凑、可微分的界限？
• RQ3 能否通过经过分类校准的代理损失界定鲁棒性-准确性权衡？
• RQ4 受这些界限启发的训练目标（TRADES）相较于现有防御是否在不损失准确性的情况下提升鲁棒性？
• RQ5 所提出的方法在大数据集上的可扩展性以及对多分类问题的扩展性如何？

主要发现

• 鲁棒误差等于自然误差与边界误差的和。
• 存在对两项都可微且紧致的上界，通过分类校准的损失和 psi 转换，在分布和预测器上具有统一性。
• TRADES 优化一个代理目标，平衡自然风险与鲁棒性正则化，提升鲁棒性同时保持准确性。
• 经验结果表明，在白盒和黑盒威胁下（如 CIFAR10 及多种攻击），TRADES 相较若干早期防御实现更高的鲁棒性准确度。
• 在 MNIST 和 CIFAR10 上，调节 lambda 显示了预期的鲁棒性-准确性权衡，其中较高的 1/lambda 在某些成本下提高了鲁棒性准确性；TRADES 在 NeurIPS 2018 Adversarial Vision Challenge 中表现出色（第一名）。
• 理论界限在常见代理损失（如 hinge、logistic、交叉熵）下对合理条件成立时被证明是紧致的。