[论文解读] On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution Detection

Guoxuan Xia, Christos-Savvas Bouganis|arXiv (Cornell University)|Jul 15, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文挑战了深度集成多样性（通过互信息MI衡量）能提升ImageNet规模模型分布外（OOD）检测性能的普遍观点。相反，本文表明通过平均特定任务的得分（如Energy）来集成多样化的二分类OOD检测器，可获得更优性能，其中对集成中Energy得分的平均值在最佳OOD基准上实现了SOTA的FPR@95（4.48%）。

ABSTRACT

The ability to detect Out-of-Distribution (OOD) data is important in safety-critical applications of deep learning. The aim is to separate In-Distribution (ID) data drawn from the training distribution from OOD data using a measure of uncertainty extracted from a deep neural network. Deep Ensembles are a well-established method of improving the quality of uncertainty estimates produced by deep neural networks, and have been shown to have superior OOD detection performance compared to single models. An existing intuition in the literature is that the diversity of Deep Ensemble predictions indicates distributional shift, and so measures of diversity such as Mutual Information (MI) should be used for OOD detection. We show experimentally that this intuition is not valid on ImageNet-scale OOD detection -- using MI leads to 30-40% worse %FPR@95 compared to single-model entropy on some OOD datasets. We suggest an alternative explanation for Deep Ensembles' better OOD detection performance -- OOD detection is binary classification and we are ensembling diverse classifiers. As such we show that practically, even better OOD detection performance can be achieved for Deep Ensembles by averaging task-specific detection scores such as Energy over the ensemble.

研究动机与目标

• 探究以互信息（MI）衡量的深度集成多样性是否能可靠指示ImageNet规模模型中的分布外（OOD）输入。
• 挑战广泛持有的直觉，即高集成多样性与分布偏移相关，因而有助于OOD检测。
• 识别深度集成相比单模型在OOD检测中表现更优的真正机制。
• 评估是否通过集成更优的OOD检测得分（如Energy）可进一步提升性能，超越标准不确定性度量。

提出的方法

• 作者在ImageNet规模的OOD检测基准上评估了多种不确定性得分——集成熵（Ens. H）、平均熵（Av. H）、互信息（MI）和Energy。
• 使用标准分解公式计算MI：MI ≈ Ens. H - Av. H，将其解释为集成多样性的度量。
• 通过AUROC和FPR@95比较单模型与深度集成的OOD检测性能，其中得分对集成成员取平均。
• 应用Jensen不等式，从理论上证明为何集成多样化的二分类OOD分类器可提升检测性能。
• 提出并评估在集成上平均特定任务得分（如Energy）的方法，表明其始终优于其他不确定性度量。
• 在多个OOD数据集（包括ImageNet-R、TinyImageNet和ObjectNet）上开展大量实验，采用标准评估协议。

实验结果

研究问题

• RQ1 在ImageNet规模模型中，成员间的互信息（MI）是否能可靠指示分布外（OOD）输入？
• RQ2 为何深度集成在OOD检测中优于单模型？其原因是否源于集成多样性，或另有机制？
• RQ3 是否可通过集成更优的OOD检测得分（如Energy）进一步提升性能，超越标准不确定性度量？
• RQ4 深度集成的性能提升是否源于在二分类设置下，对集成成员间多样化错误模式的平均？

主要发现

• 作为多样性度量的互信息（MI）性能显著劣于单模型熵，部分OOD数据集上的FPR@95高出30-40%。
• 集成熵（Ens. H）和平均熵（Av. H）始终优于其单模型对应版本，表明集成可改善不确定性估计。
• 对集成中Energy得分的平均可实现最佳整体OOD检测性能，在ObjectNet OOD基准上达到FPR@95为4.48%。
• 表现最佳的方法——平均Energy——在ObjectNet上实现了99.08%的AUROC，优于单模型Energy及所有其他基于集成的不确定性得分。
• 本研究未发现集成多样性（通过MI衡量）与大规模OOD输入之间存在相关性，从而质疑了文献中广泛引用的直觉。
• 深度集成优越性能的真正原因更应归因于集成多样化二分类OOD检测器，使其能相互补偿错误，而非多样性本身作为OOD的直接指标。