[论文解读] Open Set Recognition with Conditional Probabilistic Generative Models

Xin Sun, Chi Zhang+2 more|arXiv (Cornell University)|Aug 12, 2020

Bayesian Modeling and Causal Inference参考文献 50被引用 10

一句话总结

该论文提出了一种条件概率生成模型（CPGM），用于开放集识别，通过将类特定的条件高斯分布整合到变分自编码器和对抗自编码器中，实现已知类分类与未知样本检测。该方法通过学习具有判别性的、类条件的潜在表征，在聚类紧凑性和决策边界清晰度方面均优于标准VAE和AAE，在基准数据集上实现了最先进性能。

ABSTRACT

Deep neural networks have made breakthroughs in a wide range of visual understanding tasks. A typical challenge that hinders their real-world applications is that unknown samples may be fed into the system during the testing phase, but traditional deep neural networks will wrongly recognize these unknown samples as one of the known classes. Open set recognition (OSR) is a potential solution to overcome this problem, where the open set classifier should have the flexibility to reject unknown samples and meanwhile maintain high classification accuracy in known classes. Probabilistic generative models, such as Variational Autoencoders (VAE) and Adversarial Autoencoders (AAE), are popular methods to detect unknowns, but they cannot provide discriminative representations for known classification. In this paper, we propose a novel framework, called Conditional Probabilistic Generative Models (CPGM), for open set recognition. The core insight of our work is to add discriminative information into the probabilistic generative models, such that the proposed models can not only detect unknown samples but also classify known classes by forcing different latent features to approximate conditional Gaussian distributions. We discuss many model variants and provide comprehensive experiments to study their characteristics. Experiment results on multiple benchmark datasets reveal that the proposed method significantly outperforms the baselines and achieves new state-of-the-art performance.

研究动机与目标

• 为解决标准深度生成模型（如VAE和AAE）的局限性，这些模型由于所有类别共享潜在分布，无法进行判别性分类。
• 开发一个统一框架，利用概率生成模型实现开放集识别（未知样本检测）与已知类分类。
• 探究将潜在空间基于类别标签进行条件化，如何提升生成与判别任务的表征学习能力。
• 比较CPGM-VAE与CPGM-AAE变体在聚类质量、决策边界清晰度及整体开放集识别性能方面的有效性。

提出的方法

• 在潜在空间中引入条件后验分布 $ q_{\bm{\phi}}(\bm{z}|\bm{x},k) $，其中 $ k $ 表示已知类别，以建模类特定特征。
• 强制每个类的潜在表征逼近一个独立的多元高斯分布 $ \mathcal{N}(\bm{z}; \bm{\mu}_k, \mathbf{I}) $，其中 $ \bm{\mu}_k $ 通过全连接层从类别标签预测得到。
• 在CPGM-VAE中采用概率自编码器架构，以保留各层间的信息，提升特征表征质量。
• 在CPGM-AAE中使用对抗训练，使后验分布匹配类条件先验，增强生成与判别能力。
• 在测试阶段使用重构误差与条件高斯距离作为双重检测信号，以区分已知与未知样本。
• 探索三种基于AAE的变体，分析重构保真度、聚类紧凑性与决策边界锐度之间的权衡。

实验结果

研究问题

• RQ1 将生成模型的潜在空间基于类别标签进行条件化，是否能同时提升开放集识别中的已知类分类与未知样本检测性能？
• RQ2 与共享先验相比，使用类条件高斯先验如何影响潜在空间中的聚类结构与决策边界？
• RQ3 在重构质量、聚类紧凑性与检测准确率方面，CPGM-VAE与CPGM-AAE的相对性能如何？
• RQ4 将重构误差与条件高斯距离相结合，是否能显著提升未知样本检测性能，超越单一信号？
• RQ5 如CPGM-VAE中的概率自编码器架构等结构选择，如何影响表征能力与开放集识别性能？

主要发现

• CPGM-VAE与CPGM-AAE在多个基准数据集上均显著优于基线VAE与AAE模型，在开放集识别任务中达到新的最先进性能。
• CPGM-AAE在潜在空间中生成的已知类聚类比CPGM-VAE更紧凑且分离更清晰，表明其表征学习能力更强。
• CPGM-AAE的重构误差直方图显示，已知与未知样本之间的决策边界比CPGM-VAE更清晰，支持更有效的检测。
• 在CPGM-AAE中加入重构误差作为检测信号可提升性能，但在CPGM-VAE中仅带来微小增益，表明CPGM-AAE的重构过程与检测目标更一致。
• 可视化结果表明，已知样本的重构保留了更多结构细节，而未知样本则产生模糊或错误的重构（例如，一艘船被重构为猫），支持其被有效拒绝。