[论文解读] Out-of-Distribution Detection Using Neural Rendering Generative Models

Yujia Huang, Sihui Dai+3 more|arXiv (Cornell University)|Jul 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 7

一句话总结

本文提出在神经渲染模型（NRM）中使用潜在变量的联合似然来实现分布外（OoD）检测，统一了似然与重构方法。实验表明，当在CIFAR-10上训练时，NRM对SVHN等低方差OoD数据的似然值始终更低，优于传统似然与重构指标，且是首个能可靠检测此类低方差OoD样本的深度生成模型方法。

ABSTRACT

Out-of-distribution (OoD) detection is a natural downstream task for deep generative models, due to their ability to learn the input probability distribution. There are mainly two classes of approaches for OoD detection using deep generative models, viz., based on likelihood measure and the reconstruction loss. However, both approaches are unable to carry out OoD detection effectively, especially when the OoD samples have smaller variance than the training samples. For instance, both flow based and VAE models assign higher likelihood to images from SVHN when trained on CIFAR-10 images. We use a recently proposed generative model known as neural rendering model (NRM) and derive metrics for OoD. We show that NRM unifies both approaches since it provides a likelihood estimate and also carries out reconstruction in each layer of the neural network. Among various measures, we found the joint likelihood of latent variables to be the most effective one for OoD detection. Our results show that when trained on CIFAR-10, lower likelihood (of latent variables) is assigned to SVHN images. Additionally, we show that this metric is consistent across other OoD datasets. To the best of our knowledge, this is the first work to show consistently lower likelihood for OoD data with smaller variance with deep generative models.

研究动机与目标

• 解决传统似然与重构方法在OoD样本方差低于分布内数据时失效的问题。
• 通过神经渲染模型（NRM）将似然与重构方法统一为单一框架。
• 提出一种对像素级方差不敏感且能捕捉图像结构的鲁棒OoD检测指标。
• 证明NRM中优化后潜在变量的联合似然可实现分布内与OoD数据的稳定分离。

提出的方法

• 采用神经渲染模型（NRM），其反向运行CNN的前向过程，通过具有先验分布p(z|y)的结构化潜在变量建模图像生成。
• 将观测似然p(x)分解为重构损失与潜在变量的联合似然，从而支持多种OoD检测指标。
• 聚焦于优化后潜在变量的联合似然p({z*(ℓ)}ℓ=1:L | y*)作为主要OoD检测指标，其对图像结构的捕捉优于像素级指标。
• 在NRM框架中采用最先进的CNN架构（如ResNet、DenseNet）以提升表征学习与检测性能。
• 评估多种指标——数据似然p(x)、重构损失、潜在变量似然p(z)——并比较其OoD检测性能。
• 通过对对数似然分数的直方图分析，可视化分布内（CIFAR-10）与OoD（SVHN、CelebA）数据之间的分离情况。

实验结果

研究问题

• RQ1 NRM中潜在变量的联合似然是否能提供比传统似然或重构损失更鲁棒的OoD检测指标？
• RQ2 所提出的指标是否能有效检测方差低于训练分布的OoD样本？
• RQ3 潜在变量的联合似然与其它指标相比，在分布内与OoD数据分布之间的分离效果如何？
• RQ4 NRM框架能否统一基于似然与基于重构的OoD检测方法？

主要发现

• 当在CIFAR-10上训练时，NRM对SVHN图像的潜在变量联合似然p({z*(ℓ)}ℓ=1:L | y*)始终分配更低的似然值，尽管SVHN的方差更低。
• 该指标在分布内与OoD数据之间表现出有意义的分离，直方图峰值重叠极少，而其他指标（如Glow的似然）则存在明显重叠。
• 该方法对未知OoD分布具有鲁棒性，且无需预先知晓OoD特征。
• 联合似然指标对图像结构的捕捉优于像素级似然或重构损失，显著降低了对方差差异的敏感性。
• 该指标是首个在深度生成模型中可靠地为低方差OoD数据分配更低似然值的方法。