[论文解读] Understanding Robust Overfitting of Adversarial Training and Beyond

Chaojian Yu, Bo Han+5 more|arXiv (Cornell University)|Jun 17, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文指出，对抗训练中的鲁棒过拟合源于小损失数据在强对抗攻击下变得过于容易拟合。为此，提出最小损失约束对抗训练（MLCAT），通过损失缩放或权重扰动来增加此类数据的损失，从而有效消除鲁棒过拟合，并在不同数据集和模型架构上提升对抗鲁棒性。

ABSTRACT

Robust overfitting widely exists in adversarial training of deep networks. The exact underlying reasons for this are still not completely understood. Here, we explore the causes of robust overfitting by comparing the data distribution of \emph{non-overfit} (weak adversary) and \emph{overfitted} (strong adversary) adversarial training, and observe that the distribution of the adversarial data generated by weak adversary mainly contain small-loss data. However, the adversarial data generated by strong adversary is more diversely distributed on the large-loss data and the small-loss data. Given these observations, we further designed data ablation adversarial training and identify that some small-loss data which are not worthy of the adversary strength cause robust overfitting in the strong adversary mode. To relieve this issue, we propose \emph{minimum loss constrained adversarial training} (MLCAT): in a minibatch, we learn large-loss data as usual, and adopt additional measures to increase the loss of the small-loss data. Technically, MLCAT hinders data fitting when they become easy to learn to prevent robust overfitting; philosophically, MLCAT reflects the spirit of turning waste into treasure and making the best use of each adversarial data; algorithmically, we designed two realizations of MLCAT, and extensive experiments demonstrate that MLCAT can eliminate robust overfitting and further boost adversarial robustness.

研究动机与目标

• 探究对抗训练中鲁棒过拟合的根本原因，特别是在强对抗攻击设置下的情况。
• 理解为何传统正则化方法和早停策略无法缓解鲁棒过拟合。
• 识别出在对抗训练中，小损失数据在变得过于容易拟合时会引发鲁棒过拟合。
• 提出一种新颖的训练范式，通过不依赖额外数据的方式，防止对易处理对抗样本的过拟合。
• 设计并验证一种可泛化的通用方法，通过有策略地增加小损失数据的损失来增强对抗鲁棒性。

提出的方法

• 提出最小损失约束对抗训练（MLCAT），一种原型方法，通过阈值 ℓ_min 将数据划分为小损失组和大损失组。
• 在每个小批量中，对小损失数据专门应用额外的损失增加机制——损失缩放和权重扰动。
• 通过将损失乘以系数 ℓ_min / ℓ_i 实现损失缩放，以增加小损失样本的损失。
• 通过在反向传播期间向模型权重添加一个可学习向量 v 实现权重扰动，以增加小损失数据的损失。
• 引入最小损失约束，确保仅对损失低于 ℓ_min 的数据应用这些额外措施。
• 设计了 MLCAT 的两种实现形式：MLCAT-LS（损失缩放）和 MLCAT-WP（权重扰动），两者均能有效抑制鲁棒过拟合。

实验结果

研究问题

• RQ1 为何在对抗训练中会发生鲁棒过拟合，特别是在强对抗攻击设置下？
• RQ2 小损失数据在对抗训练中导致鲁棒过拟合所起的作用是什么？
• RQ3 能否通过选择性地增加易学习对抗样本的损失来缓解鲁棒过拟合？
• RQ4 最小损失阈值 ℓ_min 如何影响 MLCAT 在防止过拟合方面的有效性？
• RQ5 MLCAT 是否能在不依赖额外训练数据或架构修改的情况下提升对抗鲁棒性？

主要发现

• 鲁棒过拟合的产生是因为随着模型在训练过程中变得更鲁棒，其在小损失数据上的对抗样本变得过于容易拟合。
• 数据消融实验表明，移除小损失数据会导致鲁棒过拟合，但单纯移除它们会因样本量减少而损害泛化能力。
• 在 CIFAR-10 上使用 ℓ_min = 1.5，在 CIFAR-100 上使用 ℓ_min = 4.0 的 MLCAT 能有效消除鲁棒过拟合，并将鲁棒性差距缩小至接近零。
• MLCAT-LS 和 MLCAT-WP 均能消除鲁棒过拟合，并在各种威胁模型下提升 CIFAR-10、SVHN 和 CIFAR-100 的鲁棒准确率。
• 通过增加小损失数据损失的调整策略（如损失缩放、权重扰动）可提升鲁棒性，而降低损失的策略则会恶化鲁棒性。
• 该方法在不同网络架构（如 PreAct ResNet-18、Wide ResNet）和威胁模型（如 ℓ∞、ℓ2）中均表现出良好的泛化能力，展现出广泛的适用性。