[论文解读] Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty
该论文表明自监督旋转预测可以提高对对抗扰动、标签噪声和常见损坏的鲁棒性，并在某些情况下大大提升分布外检测，甚至超越完全监督方法。
Self-supervision provides effective representations for downstream tasks without requiring labels. However, existing approaches lag behind fully supervised training and are often not thought beneficial beyond obviating or reducing the need for annotations. We find that self-supervision can benefit robustness in a variety of ways, including robustness to adversarial examples, label corruption, and common input corruptions. Additionally, self-supervision greatly benefits out-of-distribution detection on difficult, near-distribution outliers, so much so that it exceeds the performance of fully supervised methods. These results demonstrate the promise of self-supervision for improving robustness and uncertainty estimation and establish these tasks as new axes of evaluation for future self-supervised learning research.
研究动机与目标
- 在标注数据稀缺或无标签信号有价值时，推动鲁棒且可靠的模型。
- 研究自监督目标是否能提升对抗样本、标签污染、输入损坏的鲁棒性。
- 在挑战性近分布条件下，检验自监督对分布外检测的影响。
提出的方法
- 使用自监督损失训练一个辅助头来预测图像旋转（0、90、180、270 度）
- 将标准有监督交叉熵损失与基于旋转的自监督损失结合，权重为 lambda（设为 0.5）
- 在训练时修改 PGD 对抗训练目标，使分类损失和旋转损失同时最大化
- 使用 WRN-40-2 网络评估对抗扰动鲁棒性（PGD 20 步和 100 步）以及常见损坏（CIFAR-10-C）
- 通过用基于旋转的自监督和 KL 发散+旋转分数检测器来增强受监督表示，测试分布外检测
- 将实验扩展到 ImageNet，采用更大的自监督目标和架构变体（如自注意力）以提升分布外性能。
实验结果
研究问题
- RQ1自监督学习是否可以在超越标准对抗训练的情况下提高对抗扰动鲁棒性？
- RQ2基于旋转的自监督是否能提高对常见输入损坏和标签噪声的鲁棒性？
- RQ3自监督能否增强分布外检测，特别是近分布的分布外情况？
- RQ4自监督技术能否扩展到像 ImageNet 这样的大数据集并比全监督模型带来收益？
主要发现
- 辅助旋转自监督在 20 步和 100 步对抗下，相较于标准 PGD 训练带来 5.6 个百分点的鲁棒性提升。
- 旋转基方法在对抗扰动方面能承受比 PGD 训练多出高达 11% 的扰动而性能不下降。
- 与 TRADES 结合时，旋转提供相较于 TRADES 增加 1.22 个百分点的鲁棒精度，相较于 PGD 训练增加 7.79 个百分点。
- 在 CIFAR-10-C 上，旋转自监督使平均鲁棒性从 72.3% 提升到 76.9%（4.6 个百分点），清洁准确率基本保持不变。
- 在分布外检测方面，旋转基自监督在 CIFAR-10 实验中相对于基线最大软最大概率方法的 AUROC 平均提升 4.8 个百分点。
- 在 CIFAR-10 单类 OOD 任务中，自监督基于 RotNet 的检测器超越若干全监督及其他自监督基线，包括超越使用离群数据的一些方法。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。