[论文解读] Predicting Out-of-Distribution Error with the Projection Norm

Yaodong Yu, Zitong Yang+3 more|arXiv (Cornell University)|Feb 11, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出了一种名为 Projection Norm 的新度量方法，通过在伪标签 OOD 数据上训练模型，并测量该模型与一个参考 in-distribution 模型之间的 L2 距离，从而在无需真实标签的情况下预测分布外（OOD）测试误差。该方法在视觉和语言基准上优于现有方法，在对抗性样本上表现出非平凡的性能，且在过参数化的线性模型中具有理论基础。

ABSTRACT

We propose a metric -- Projection Norm -- to predict a model's performance on out-of-distribution (OOD) data without access to ground truth labels. Projection Norm first uses model predictions to pseudo-label test samples and then trains a new model on the pseudo-labels. The more the new model's parameters differ from an in-distribution model, the greater the predicted OOD error. Empirically, our approach outperforms existing methods on both image and text classification tasks and across different network architectures. Theoretically, we connect our approach to a bound on the test error for overparameterized linear models. Furthermore, we find that Projection Norm is the only approach that achieves non-trivial detection performance on adversarial examples. Our code is available at https://github.com/yaodongyu/ProjNorm.

研究动机与目标

• 开发一种在无真实标签访问的情况下预测分布外（OOD）测试误差的方法，这对机器学习模型在现实世界中的部署至关重要。
• 解决深度学习中的分布偏移问题，其中标准验证集无法捕捉 OOD 数据上的性能下降。
• 提供一种在高维和复杂分布偏移下既具有经验准确性又具有理论可解释性的度量方法。
• 评估该方法在极端分布偏移（如对抗性样本）下的鲁棒性，其中现有方法失效。
• 提供一种通用工具，用于度量分布差异，以支持主动学习、强化学习和模型监控。

提出的方法

• Projection Norm 计算在伪标签 OOD 数据上训练的模型与在 in-distribution 数据上训练的参考模型之间的 L2 距离，两者均从相同的随机种子初始化。
• 首先使用预训练模型基于其预测结果为未标记的 OOD 测试样本分配伪标签。
• 然后使用与参考模型相同的初始化方式，对这些伪标签 OOD 样本进行微调，训练一个新的模型。
• 将微调后的 OOD 模型与参考 in-distribution 模型之间的距离作为 Projection Norm 分数。
• 该方法旨在捕捉与训练数据流形正交的分布差异，不同于仅依赖 logits 的方法。
• 理论分析将 Projection Norm 与过参数化线性模型中的泛化界联系起来，表明其度量的是真实模型在训练与测试数据重叠区域上的投影。

实验结果

研究问题

• RQ1 是否可以仅使用模型在 OOD 数据上的预测结果，而无需真实标签，来预测 OOD 测试误差？
• RQ2 Projection Norm 在预测 OOD 误差方面与现有方法相比，其准确性和与实际误差的相关性如何？
• RQ3 Projection Norm 在极端分布偏移（如对抗性样本）下是否依然有效？
• RQ4 Projection Norm 性能的理论基础是什么，特别是在高维线性模型中？
• RQ5 Projection Norm 是否能为现有方法提供互补信息，从而提升集成预测性能？

主要发现

• Projection Norm 在多个视觉和语言基准（包括 ImageNet、CIFAR-10 和 GLUE）上预测 OOD 误差方面优于现有方法。
• 它在对抗性样本上实现了非平凡的检测性能——在所评估的方法中唯一实现此效果，凸显其对极端分布偏移的鲁棒性。
• 经验结果表明，Projection Norm 的误差预测与现有方法的预测几乎不相关，因此在集成中结合使用可显著提升性能。
• 理论分析表明，Projection Norm 度量的是过参数化线性模型中真实模型在训练与测试数据流形交集上的投影。
• 在线性设定下，Projection Norm 捕捉了与训练数据流形正交的信息，这解释了其与基于 logits 方法相比具有互补信号的原因。
• 该方法对模型架构和数据集偏移具有鲁棒性，在标签偏移和领域偏移等多种设置下均表现出一致的性能。