[论文解读] Using Pre-Training Can Improve Model Robustness and Uncertainty

Dan Hendrycks, Kimin Lee+1 more|arXiv (Cornell University)|Jan 28, 2019

Fault Detection and Control Systems被引用 429

一句话总结

预训练并不总是提升传统准确率，但它显著增强鲁棒性与不确定性估计，包括对抗鲁棒性、标签噪声抵抗、类别不平衡处理、OOD检测和校准。

ABSTRACT

He et al. (2018) have called into question the utility of pre-training by showing that training from scratch can often yield similar performance to pre-training. We show that although pre-training may not improve performance on traditional classification metrics, it improves model robustness and uncertainty estimates. Through extensive experiments on adversarial examples, label corruption, class imbalance, out-of-distribution detection, and confidence calibration, we demonstrate large gains from pre-training and complementary effects with task-specific methods. We introduce adversarial pre-training and show approximately a 10% absolute improvement over the previous state-of-the-art in adversarial robustness. In some cases, using pre-training without task-specific methods also surpasses the state-of-the-art, highlighting the need for pre-training when evaluating future methods on robustness and uncertainty tasks.

研究动机与目标

• 激发并研究预训练是否在超越传统准确率的意义上提升鲁棒性与不确定性。
• 量化预训练对对抗鲁棒性、标签污染和类别不平衡的影响。
• 评估使用预训练表示在分布外检测和校准方面的改进。

提出的方法

• 在降低采样比例的 ImageNet 上进行预训练，有时会移除与 CIFAR-10 相关的类别，然后在目标任务上进行微调。
• 使用无目标攻击和对抗训练变体评估对抗扰动的鲁棒性。
• 使用受控标签噪声评估标签污染的鲁棒性，并与前向校正（Forward Correction）和金色损失校正（GLC）进行比较。
• 在幂律数据分布下评估类别不平衡鲁棒性，并将预训练与标准基线进行比较。
• 通过 OOD 检测指标（AUROC、AUPR）和校准误差（RMS、MAD）来衡量不确定性。
• 证明对抗性预训练能够将鲁棒特征跨分布迁移，并且可能超过此前的最先进方法。

实验结果

研究问题

• RQ1 预训练是否能在对抗扰动方面改进鲁棒性，超越从头训练？
• RQ2 与任务相关方法相比，预训练是否更有效地提升对标签噪声和类别不平衡的鲁棒性？
• RQ3 预训练是否在不依赖于准确率提升的情况下增强不确定性估计，包括 OOD 检测和校准？

主要发现

• 对抗性预训练在 CIFAR-10/100 数据集上相对于此前方法在对抗鲁棒性方面取得约 10% 的绝对提升。
• 预训练在标签污染下显著降低错误率，在某些设置下甚至超过任务特定的修正方法。
• 预训练显著提升对类别不平衡的鲁棒性，尤其是对少数类，优于若干专门方法。
• 预训练改进了 OOD 检测指标（AUROC 和 AUPR），在多数据集上体现出更好的不确定性估计。
• 预训练显著改善了校准误差（RMS 和 MAD），在 CIFAR-100 上收益更大，并与温度标定方法兼容。
• 在若干情况下，预训练模型在不进行额外任务特定微调的情况下就超过了最先进的鲁棒性/不确定性基准。