[论文解读] Probabilistic Modeling of Deep Features for Out-of-Distribution and Adversarial Detection

Nilesh Ahuja, Ibrahima J. Ndiour+2 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 37

一句话总结

本文提出用带类条件的参数分布（Gaussian 与 Gaussian Mixture Models）来建模训练好的DNN的深层特征，以通过每层的对数似然检测分布外样本和对抗样本。它在 MNIST、CIFAR-10 和 UCF101 视频数据上展示了改进的 OOD 与对抗检测，并对降维和逐层有效性进行了分析。

ABSTRACT

We present a principled approach for detecting out-of-distribution (OOD) and adversarial samples in deep neural networks. Our approach consists in modeling the outputs of the various layers (deep features) with parametric probability distributions once training is completed. At inference, the likelihoods of the deep features w.r.t the previously learnt distributions are calculated and used to derive uncertainty estimates that can discriminate in-distribution samples from OOD samples. We explore the use of two classes of multivariate distributions for modeling the deep features - Gaussian and Gaussian mixture - and study the trade-off between accuracy and computational complexity. We demonstrate benefits of our approach on image features by detecting OOD images and adversarially-generated images, using popular DNN architectures on MNIST and CIFAR10 datasets. We show that more precise modeling of the feature distributions result in significantly improved detection of OOD and adversarial samples; up to 12 percentage points in AUPR and AUROC metrics. We further show that our approach remains extremely effective when applied to video data and associated spatio-temporal features by detecting adversarial samples on activity classification tasks using UCF101 dataset, and the C3D network. To our knowledge, our methodology is the first one reported for reliably detecting white-box adversarial framing, a state-of-the-art adversarial attack for video classifiers.

研究动机与目标

• 在安全关键领域提高对 DNN 的可可靠预测不确定性。
• 提出一种生成性方法，在训练后对深层特征分布进行建模。
• 评估逐层似然估计在不改变原始分类器的情况下如何实现 OOD 与对抗检测。
• 分析计算权衡以及降维对参数估计的影响。

提出的方法

• 使用多元 Gaussian（分离协方差）或 Gaussian Mixture Models，对来自多个层的深层特征拟合类别条件分布。
• 用最大似然估计（均值和协方差）估计参数，或对 GMM 使用 EM；用 BIC 进行成分选择。
• 对测试样本计算每层的 log-likelihoods，并用它们来检测 OOD/对抗样本，并可能进行分类。
• 根据协方差假设，使用 Mahalanobis 距离（统一协方差）或完整对数似然。
• 应用降维（平均池化和 PCA）以缓解病态条件并减少计算量。
• 在 MNIST 和 CIFAR-10 上使用 AUPR 和 AUROC 指标进行评估，并拓展到视频数据 UCF101 及对抗性帧攻击。

实验结果

研究问题

• RQ1 与基线基于 softmax 的方法相比，逐层对深层特征进行概率建模是否能提升 OOD 样本的检测效果？
• RQ2 Gaussian、单独协方差的 Gaussian，以及 Gaussian Mixture Models 在 OOD/对抗检测中是否在准确性与计算成本之间提供不同权衡？
• RQ3 降维技术如何影响参数估计和检测性能？
• RQ4 该方法在视频数据上是否有效，并且对白盒与黑盒对抗性帧攻击是否有效？

主要发现

• 用类别条件分布对深层特征进行建模，在同分布分类上具有竞争力，并在 OOD/对抗检测方面有所提升（某些情况下在 AUPR/AUROC 上提升多达 12 个百分点）。
• 具有分离协方差的 Gaussian 和 GMM 提供了可比的检测性能；更通用的模型在前面（内部）层上特别能提高鲁棒性。
• 通过 PCA 和平均池化的降维缓解了病态条件，并提升了检测与分类性能。
• 该方法在视频数据（UCF101）及对抗性帧攻击（白盒和黑盒）上都有效，提升了 AUROC/AUPR 相对于基线。
• 随着距离最终层越远，逐层在检测准确率上的提升越大，说明内部层更能从更丰富的分布获益。
• 逐层对数似然可以用于分类，在同分布数据上其准确率与 softmax 相当。