[论文解读] The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning

Anders Andreassen, Yasaman Bahri+2 more|arXiv (Cornell University)|Jun 30, 2021

Adversarial Robustness in Machine Learning参考文献 48被引用 21

一句话总结

本文研究了微调过程中分布外（OOD）鲁棒性的演化，揭示了预训练模型表现出短暂的有效鲁棒性（ER），其峰值出现在训练中期，而在收敛时完全消失。尽管分布内准确率持续提升，这些模型却失去了对OOD数据的泛化能力，凸显了微调过程中存在的关键权衡，而当前方法尚无法解决这一问题。

ABSTRACT

Although machine learning models typically experience a drop in performance on out-of-distribution data, accuracies on in- versus out-of-distribution data are widely observed to follow a single linear trend when evaluated across a testbed of models. Models that are more accurate on the out-of-distribution data relative to this baseline exhibit "effective robustness" and are exceedingly rare. Identifying such models, and understanding their properties, is key to improving out-of-distribution performance. We conduct a thorough empirical investigation of effective robustness during fine-tuning and surprisingly find that models pre-trained on larger datasets exhibit effective robustness during training that vanishes at convergence. We study how properties of the data influence effective robustness, and we show that it increases with the larger size, more diversity, and higher example difficulty of the dataset. We also find that models that display effective robustness are able to correctly classify 10% of the examples that no other current testbed model gets correct. Finally, we discuss several strategies for scaling effective robustness to the high-accuracy regime to improve the out-of-distribution accuracy of state-of-the-art models.

研究动机与目标

• 理解有效鲁棒性（ER）在整个微调过程中的动态变化。
• 识别为何预训练模型表现出瞬时ER，而随机初始化模型则不会。
• 研究数据属性（如规模、多样性及样本难度）如何影响ER。
• 确定诸如回放缓冲区或权重正则化等策略是否能在保持高分布内准确率的同时维持高水平ER。
• 探索将ER扩展以实现SOTA OOD性能的潜力。

提出的方法

• 在ImageNet和CIFAR-10上对模型进行微调时，通过检查点追踪ER的演变。
• 将ER定义为OOD准确率与跨模型观测到的线性ID-OOD性能趋势之间的偏差。
• 使用CIFAR-10与ImageNet之间的多标签映射，实现共享预测头的微调。
• 在CIFAR-10微调过程中使用ImageNet数据的回放缓冲区，以模拟持续学习。
• 引入L2正则化以保留预训练头权重，并评估其对ER的影响。
• 分析ER曲线的形状，并将其分解为线性拟合与实际偏差的贡献。

实验结果

研究问题

• RQ1 为何预训练模型在微调期间表现出有效鲁棒性，但在收敛时又会失去？
• RQ2 数据属性（规模、多样性及样本难度）如何影响有效鲁棒性的出现？
• RQ3 诸如回放缓冲区或权重正则化等策略能否在保持高分布内准确率的同时维持高水平有效鲁棒性？
• RQ4 有效鲁棒模型的预测与标准模型有何区别？
• RQ5 为何模型在实现高分布内准确率的同时仍极难维持高ER？

主要发现

• 预训练模型在微调过程中表现出有效鲁棒性的瞬时峰值，该峰值在收敛时衰减至零，尽管其分布内准确率持续上升。
• 有效鲁棒性的峰值出现在模型中等准确率时，而非收敛阶段，表明ID与OOD性能之间存在权衡。
• 具备有效鲁棒性的模型能正确分类10%的样本，而测试集中其他所有模型均无法正确分类，展现出独特的泛化能力。
• 有效鲁棒性随训练数据集规模增大、多样性提高及样本难度增加而提升，表明数据质量和多样性至关重要。
• 即使在保持高分布内准确率的前提下，回放缓冲区和围绕预训练权重的L2正则化也无法维持高水平有效鲁棒性。
• ER曲线的形状部分源于logit空间中线性拟合的特性，但实际偏差在训练过程中仍持续下降，表明OOD泛化能力确实在真实丧失。