[论文解读] Understanding Failures in Out-of-Distribution Detection with Deep Generative Models

Lily H. Zhang, Larry B. Goldstein+1 more|arXiv (Cornell University)|Jul 14, 2021

Generative Adversarial Networks and Image Synthesis被引用 24

一句话总结

本文认为，使用深度生成模型（DGMs）进行分布外（OOD）检测的失败主要源于模型估计误差，而非基于似然的检测方法本身存在固有缺陷。研究表明，即使高质量的DGMs也可能因支持集估计错误而为OOD样本分配更高的似然值，尤其是在分布支持集不相交的情况下；本文还质疑了典型集假设作为OOD检测基础的合理性。

ABSTRACT

Deep generative models (DGMs) seem a natural fit for detecting out-of-distribution (OOD) inputs, but such models have been shown to assign higher probabilities or densities to OOD images than images from the training distribution. In this work, we explain why this behavior should be attributed to model misestimation. We first prove that no method can guarantee performance beyond random chance without assumptions on which out-distributions are relevant. We then interrogate the typical set hypothesis, the claim that relevant out-distributions can lie in high likelihood regions of the data distribution, and that OOD detection should be defined based on the data distribution's typical set. We highlight the consequences implied by assuming support overlap between in- and out-distributions, as well as the arbitrariness of the typical set for OOD detection. Our results suggest that estimation error is a more plausible explanation than the misalignment between likelihood-based OOD detection and out-distributions of interest, and we illustrate how even minimal estimation error can lead to OOD detection failures, yielding implications for future work in deep generative modeling and OOD detection.

研究动机与目标

• 调查为何深度生成模型（DGMs）在仅对分布内样本进行训练的情况下，仍会为分布外（OOD）样本分配更高的似然值。
• 挑战广泛引用的“典型集假设”——即相关OOD分布位于数据分布的高似然区域——作为OOD检测失败解释的合理性。
• 证明当分布内与分布外分布的支持集重叠时，即使使用完美模型，OOD检测性能也存在固有的上限。
• 主张估计误差而非分布错位，才是DGMs中OOD检测失败的根本原因。
• 通过建议未来工作应聚焦于纠正模型估计误差，而非基于典型集重新定义检测标准，为后续研究提供指导。

提出的方法

• 证明：在未对相关OOD分布做出假设的情况下，任何OOD检测方法都无法保证其性能超越随机猜测。
• 通过展示当假设分布内与分布外分布支持集重叠时，典型集假设会导致根本性的性能限制，来分析该假设。
• 证明：即使对分布内分布的完美模型，当支持集重叠时，其OOD检测性能也可能劣于估计错误的模型。
• 通过实证实验表明，当支持集重叠时，部分训练的DGM可能在OOD检测中表现优于真实数据分布。
• 阐明：OOD图像被赋予高似然值的原因是估计误差——具体而言，是为本应具有零概率的区域分配了非零概率。
• 主张：近期基于典型集假设的OOD检测方法可能实际上是在纠正估计误差，提示应重新解读其成功原因。

实验结果

研究问题

• RQ1 为何深度生成模型在仅对分布内样本进行训练的情况下，仍会为分布外图像分配比分布内图像更高的似然值？
• RQ2 典型集假设——即相关OOD分布位于数据分布的高似然区域——是否合理地解释了OOD检测的失败？
• RQ3 当分布内与分布外分布的支持集发生重叠时，OOD检测的性能上限是什么？
• RQ4 估计误差在多大程度上可以解释DGMs中OOD检测的失败，而非分布错位？
• RQ5 依赖典型集的OOD检测方法是否实际上在纠正模型估计误差？这对未来模型设计有何启示？

主要发现

• 在未对相关OOD分布做出假设的情况下，任何OOD检测方法都无法保证其性能超越随机猜测，凸显了明确定义OOD集合的必要性。
• 典型集假设存在问题，因为它假设分布内与分布外分布支持集重叠，这导致OOD检测性能存在无法解决的上限。
• 即使是对分布内分布的完美模型，当支持集重叠时，其OOD检测性能也可能劣于估计错误的模型。
• 实证结果表明，当支持集重叠时，部分训练的DGM可能在OOD检测中表现优于真实数据分布，表明估计误差比分布错位更能合理解释该现象。
• OOD图像被赋予高似然值的现象，更合理的解释是估计误差——即为本应具有零概率的区域分配了非零概率——而非典型集假设。
• 近期受典型集假设启发的OOD检测方法，可能实际上是在纠正估计误差，提示应重新解释其成功原因，并为模型改进指明方向。