[论文解读] Shaping Parameter Contribution Patterns for Out-of-Distribution Detection

Haonan Xu, Yang Yang|arXiv (Cornell University)|Mar 7, 2026

Anomaly Detection Techniques and Applications被引用 0

一句话总结

SPCP 训练正则化分类器参数贡献，以通过界限导向的密集模式避免过于自信的 OOD 预测，在提升 OOD 检测的同时保持 ID 精度。

ABSTRACT

Out-of-distribution (OOD) detection is a well-known challenge due to deep models often producing overconfident. In this paper, we reveal a key insight that trained classifiers tend to rely on sparse parameter contribution patterns, meaning that only a few dominant parameters drive predictions. This brittleness can be exploited by OOD inputs that anomalously trigger these parameters, resulting in overconfident predictions. To address this issue, we propose a simple yet effective method called Shaping Parameter Contribution Patterns (SPCP), which enhances OOD detection robustness by encouraging the classifier to learn boundary-oriented dense contribution patterns. Specifically, SPCP operates during training by rectifying excessively high parameter contributions based on a dynamically estimated threshold. This mechanism promotes the classifier to rely on a broader set of parameters for decision-making, thereby reducing the risk of overconfident predictions caused by anomalously triggered parameters, while preserving in-distribution (ID) performance. Extensive experiments under various OOD detection setups verify the effectiveness of SPCP.

研究动机与目标

• 从 trained classifiers 的稀疏参数贡献中引发的 OOD 检测脆弱性出发的动机。
• 提出一种在训练时进行的正则化（SPCP），对主导参数贡献进行界限约束。
• 证明 SPCP 能在不牺牲分布内性能的情况下产生界限导向的密集贡献模式。
• 在 CIFAR 和 ImageNet 基准测试中展示 SPCP 的有效性，并且与各种 OOD 方法的兼容性。

提出的方法

• 将参数贡献 c_k(x; θ_ij) 定义为在参数 θ_ij 存在与被置为零时，类别 k 输出的变化（式(4)）。
• 聚焦于对高层决策边界影响最大的分类器权重 W（式(5)）。
• 通过截断超过动态阈值 λ 的贡献来引入 SPCP（式(7)）；使用截断贡献计算 f^SPCP_k(x; λ)（式(8)）。
• 在每次迭代中通过 mini-batch 的贡献分布的前 ρ 百分位数的 EMA 来估计 λ（式(9)）。
• 用 f^SPCP 的交叉熵损失进行训练，并使用 Energy 分数进行 OOD 检测（式(11)）。
• 在 OpenOOD 基准测试中对多种骨干网络和 OOD 场景进行经验验证（表1–表4）。

实验结果

研究问题

• RQ1 在训练过程中限制主导分类器参数贡献是否可以在不损害 ID 精度的前提下降低 OOD 的过度自信？
• RQ2 界限导向的密集贡献模式是否在近端和远端 OOD 情景中提高 ID‑OOD 分离？
• RQ3 SPCP 是否与现有多种 OOD 评分方法和骨干网络兼容？
• RQ4 相较于静态阈值，基于 EMA 的动态阈值对贡献截断的效果如何？
• RQ5 SPCP 对 CIFAR 与 ImageNet 规模基准下的鲁棒性有何影响？

主要发现

• SPCP 在多种近端和远端 OOD 设置中提升了 OOD 检测，同时保持了 ID 精度。
• 塑造贡献减少了 ID 和 OOD 得分分布的重叠，提升了 ID‑OOD 分离。
• SPCP 兼容后验和训练时正则化方法，在不同骨干网络上均获得竞争性结果。
• 消融研究表明：训练时截断比仅在推理时截断更有效，且通过 EMA 的动态 λ 估计更有利。
• SPCP 可泛化到不同骨干网络（ResNet-18、WideResNet-28-10、DenseNet-101），并在与其他 OOD 方法结合时仍然有效。