[论文解读] Understanding the Limitations of Conditional Generative Models

Ethan Fetaya, Joern-Henrik Jacobsen+2 more|arXiv (Cornell University)|Jun 4, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用 13

一句话总结

本文研究了类别条件生成模型是否能够通过检测对抗性样本、模糊输入和误标定数据来实现鲁棒分类。尽管理论上具有潜力，作者表明最大似然训练本质上限制了对抗扰动的可检测性，且实证结果揭示，MNIST上的鲁棒性无法泛化到CIFAR10，这是由于似然目标所诱导的模型特性所致。

ABSTRACT

Class-conditional generative models hold promise to overcome the shortcomings of their discriminative counterparts. They are a natural choice to solve discriminative tasks in a robust manner as they jointly optimize for predictive performance and accurate modeling of the input distribution. In this work, we investigate robust classification with likelihood-based generative models from a theoretical and practical perspective to investigate if they can deliver on their promises. Our analysis focuses on a spectrum of robustness properties: (1) Detection of worst-case outliers in the form of adversarial examples; (2) Detection of average-case outliers in the form of ambiguous inputs and (3) Detection of incorrectly labeled in-distribution inputs. Our theoretical result reveals that it is impossible to guarantee detectability of adversarially-perturbed inputs even for near-optimal generative classifiers. Experimentally, we find that while we are able to train robust models for MNIST, robustness completely breaks down on CIFAR10. We relate this failure to various undesirable model properties that can be traced to the maximum likelihood training objective. Despite being a common choice in the literature, our results indicate that likelihood-based conditional generative models may are surprisingly ineffective for robust classification.

研究动机与目标

• 评估类别条件生成模型是否能够鲁棒地检测对抗性样本、模糊输入以及分布内错误标注的数据。
• 研究训练这些模型所采用的最大似然目标是否支持可靠的异常值检测。
• 理解为何生成模型在MNIST上表现良好，但在CIFAR10上失败，尽管架构和训练设置相似。
• 探讨高分类准确率与高维数据中基于似然的检测性能差之间的脱节现象。

提出的方法

• 对在最大似然目标下，即使对于近似最优的生成分类器，也无法保证检测对抗性样本的理论分析。
• 在MNIST和CIFAR10上，通过最大似然训练的条件生成模型的实证评估，使用多种对抗攻击方法，包括边界攻击。
• 引入一个新数据集BG-MNIST，将MNIST数字与CIFAR10背景结合，以解耦判别难度与生成复杂度。
• 使用真实图像与生成图像之间的线性插值，评估似然行为和模型置信度在整个输入流形上的变化。
• 应用重加权判别目标，在保持高分类准确率的同时分析由此产生的似然性能退化。
• 比较插值路径上似然与类别概率的行为，以识别生成建模中的失败模式。

实验结果

研究问题

• RQ1 近似最优的条件生成模型在理论上能否保证检测到被对抗扰动的输入？
• RQ2 最大似然目标在多大程度上阻碍了生成模型检测分布外或对抗性输入的能力？
• RQ3 为何在MNIST上实现的鲁棒性无法泛化到CIFAR10，尽管模型架构和训练流程相似？
• RQ4 当在不同数据集上对真实图像与生成图像进行插值时，模型行为（尤其是似然和置信度）如何变化？

主要发现

• 理论分析证明，即使对于近似最优的条件生成模型，也无法保证其拒绝被对抗扰动的输入，这是由于最大似然目标的固有局限性所致。
• 在MNIST上，条件生成模型实现了高准确率，并展现出合理的基于似然的异常值检测能力，但这种鲁棒性在CIFAR10上完全崩溃。
• 线性插值实验表明，对于CIFAR10，不同类别之间的插值图像被赋予比真实图像更高的似然值，导致高置信度误分类。
• BG-MNIST数据集表明，当生成复杂度提升至CIFAR10水平而判别难度保持较低时，模型表现出与CIFAR10相同的失败模式，表明生成复杂度是根本原因。
• 尽管在BG-MNIST上保持了99%的分类准确率，对数似然值显著退化（降至4.58比特/维度），与CIFAR10水平相当，表明生成质量差。
• 本研究结论认为，基于似然的密度建模与鲁棒分类本质上存在矛盾，因为最大似然目标无法捕捉鲁棒性所必需的关键方面。