[论文解读] Towards Maximizing the Representation Gap between In-Domain & Out-of-Distribution Examples

Jay Nandy, Wynne Hsu+1 more|arXiv (Cornell University)|Oct 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用 20

一句话总结

本文提出了一种用于狄利克雷先验网络（Dirichlet Prior Networks, DPN）的新损失函数，通过显式正则化狄利克雷分布的精度，最大化域内（in-domain）与分布外（OOD）样本之间的表征差距。通过解耦均值与精度的优化，该方法提升了OOD检测性能，在多个基准测试中达到最先进水平，包括在CIFAR-10和STL-10上实现接近完美的AUROC分数。

ABSTRACT

Among existing uncertainty estimation approaches, Dirichlet Prior Network (DPN) distinctly models different predictive uncertainty types. However, for in-domain examples with high data uncertainties among multiple classes, even a DPN model often produces indistinguishable representations from the out-of-distribution (OOD) examples, compromising their OOD detection performance. We address this shortcoming by proposing a novel loss function for DPN to maximize the extit{representation gap} between in-domain and OOD examples. Experimental results demonstrate that our proposed approach consistently improves OOD detection performance.

研究动机与目标

• 解决现有DPN模型中高数据不确定性导致狄利克雷分布平坦、难以与OOD样本区分的问题。
• 通过显式最大化域内与OOD样本之间的表征差距，提升OOD检测性能。
• 设计一种损失函数，分别建模狄利克雷输出的均值与精度，以实现更好的不确定性解耦。
• 在域内样本具有高数据不确定性的情况下，仍能实现稳健的OOD检测性能。

提出的方法

• 提出一种新损失函数，将交叉熵损失与新型显式精度正则化项解耦，以独立优化狄利克雷分布的均值与精度。
• 引入一种精度正则化项，促使OOD样本呈现尖锐、多峰的狄利克雷分布，从而增强其与域内样本的表征差距。
• 修改标准DPN损失，避免在高不确定性域内样本中，将目标精度值分配给重叠类别。
• 采用两阶段优化：第一阶段使用标准交叉熵损失进行均值预测；第二阶段使用精度正则化项，强制OOD预测结果具备稀疏性与尖锐性。
• 采用动态调整的目标精度值，以促进OOD样本的平坦性与域内样本的尖锐性。
• 通过同时使用域内与OOD样本进行训练，显式学习表征空间中的差异。

实验结果

研究问题

• RQ1 修改后的DPN损失函数能否有效增大域内与OOD样本之间的表征差距？
• RQ2 在高数据不确定性下，将DPN中的均值与精度优化分离是否能提升OOD检测性能？
• RQ3 显式精度正则化能否防止高不确定性域内样本被误分类为OOD？
• RQ4 所提方法在多样化数据集上与现有OOD检测基线相比表现如何？
• RQ5 该方法在不同数据分布与OOD偏移类型下是否保持高性能？

主要发现

• 在CIFAR-10上，所提DPN+达到99.2% AUROC，显著优于DPNrev（85.4% AUROC）和DPN−（99.7% AUROC但精度仅3.5%）。
• 在CIFAR-100上，DPN+达到99.0% AUPR与99.5% AUROC，优于DPNrev（85.0% AUROC）和DPN−（99.0% AUROC但精度为7.5%）。
• 在STL-10上，DPN+达到100.0% AUROC与100.0% AUPR，优于DPNrev（99.5% AUROC）和DPN−（100.0% AUROC但精度仅0.2%）。
• 在Places365上，DPN+达到100.0% AUROC与100.0% AUPR，显著优于DPNrev（99.1% AUROC）和DPN−（99.9% AUROC但精度为0.8%）。
• 在Textures上，DPN+达到98.4% AUROC与97.9% AUPR，优于DPNrev（92.6% AUROC）和DPN−（98.7% AUROC但精度为19.3%）。
• 该方法在所有数据集上均实现近乎完美的OOD检测性能，DPN+相比DPN−展现出更优的泛化能力与鲁棒性，后者因精度过低且OOD区分能力差而表现不佳。