[论文解读] Understanding and Mitigating the Tradeoff Between Robustness and Accuracy
该论文分析了为什么对抗训练会提高标准误差，并显示鲁棒自训练（RST）在线性回归中可以在不增加标准误差的情况下提升鲁棒误差，并在使用未标记数据的 CIFAR-10 上获得经验收益。
Adversarial training augments the training set with perturbations to improve the robust error (over worst-case perturbations), but it often leads to an increase in the standard error (on unperturbed test inputs). Previous explanations for this tradeoff rely on the assumption that no predictor in the hypothesis class has low standard and robust error. In this work, we precisely characterize the effect of augmentation on the standard error in linear regression when the optimal linear predictor has zero standard and robust error. In particular, we show that the standard error could increase even when the augmented perturbations have noiseless observations from the optimal linear predictor. We then prove that the recently proposed robust self-training (RST) estimator improves robust error without sacrificing standard error for noiseless linear regression. Empirically, for neural networks, we find that RST with different adversarial training methods improves both standard and robust error for random and adversarial rotations and adversarial $\ell_\infty$ perturbations in CIFAR-10.
研究动机与目标
- 描述在过参数化线性回归中，使用一致扰动进行数据增强如何影响标准误差。
- 通过最小-norm 插值的归纳偏置解释鲁棒性与标准准确率之间的权衡。
- 提出并分析鲁棒自训练（RST）以在理论（线性回归）和实践（神经网络）中缓解该权衡。
- 在 CIFAR-10 上使用各种扰动和未标记数据源对 RST 进行经验评估。
提出的方法
- 对增强后的标准误差进行理论分解为来自对训练矩阵的零空间投影所产生的分量 v 和 w（定理1）。
- 给出在何种条件下增强估计量会增加或不增加标准误差的表征（推论1）。
- 一个命题将模型复杂度与增强下标准误差增加的幅度联系起来。
- 引入并将鲁棒自训练（RST）具体化为一种朝向标准估计量的正则化，使用未标记数据。
- 给出形式化证明，RST 在无噪声的线性回归中消除了标准-鲁棒权衡（定理2）。
- 在 CIFAR-10 上对 RST 进行经验评估，使用未标记的 Tiny Images 数据，在不同扰动和训练集规模下进行。
实验结果
研究问题
- RQ1在何种情况下用一致扰动对数据进行增强会增加最小范数插值的标准误差？
- RQ2归纳偏置和数据几何（由 Sigma 表示）能否解释对抗性训练中观察到的鲁棒性-准确性权衡？
- RQ3鲁棒自训练（RST）是否将增强后的估计量正则化为向标准估计量靠拢，以在提高鲁棒性的同时避免标准误差恶化？
- RQ4在常见扰动下，RST 的经验收益是否也扩展到线性模型之外的神经网络？
- RQ5未标记数据和不同扰动族在实践中如何影响鲁棒性和标准准确率？
主要发现
| 方法 | 鲁棒测试准确率 | 标准测试准确率。 |
|---|---|---|
| Vanilla Standard Training | 0.8% | 95.2% |
| PG-AT (Madry et al., 2018) | 45.8% | 87.3% |
| TRADES (Zhang et al., 2019) | 55.4% | 84.0% |
| Standard Self-Training | 0.3% | 96.4% |
| Robust Consistency Training (Carmon et al., 2019) | 56.5% | 83.2% |
| RST + PG-AT (this paper) | 58.5% | 91.8% |
| RST + TRADES (this paper) (Carmon et al., 2019) | 63.1% | 89.7% |
- 在过参数化线性回归中，用一致扰动进行增强可能增加标准误差，取决于真实参数分量和协方差 Sigma（定理1）。
- 标准误差不会增加的充分条件包括 Sigma = I、全跨增广，或与 Sigma 的特征向量对齐的单个扰动（推论1）。
- 该权衡来自最小范数插值的归纳偏置；局部扰动可能损害全局分量，取决于 Sigma 和 theta*，与数据几何相关。
- RST 通过将增强后的估计量正则化为向标准估计量靠拢，在线性回归中消除了该权衡，达到低鲁棒误差且标准误差不超过标准估计量（定理2）。
- RST 在 CIFAR-10 上对随机和对抗旋转、平移以及 l-infinity 扰动，在较小标记数据量下，经验性地同时提升了鲁棒测试准确率和标准测试准确率。
- 在半监督设置中，将 RST 与 AT 方法（如 PG-AT、TRADES）结合，得到比原始基线更高的鲁棒测试准确率，且常常获得更高的标准测试准确率。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。