[论文解读] On the Need for Topology-Aware Generative Models for Manifold-Based Defenses

Uyeong Jang, Susmit Jha+1 more|arXiv (Cornell University)|Sep 7, 2019

Adversarial Robustness in Machine Learning参考文献 42被引用 6

一句话总结

本文主张，拓扑感知的生成模型对于有效的基于流形的对抗样本防御至关重要。本文从理论和实证两方面证明，忽略拓扑结构的生成模型可能引入拓扑不匹配，从而削弱防御的鲁棒性；而采用拓扑感知的生成模型可显著提高 Invert-and-Classify 等防御方法中的投影精度与一致性。

ABSTRACT

Machine-learning (ML) algorithms or models, especially deep neural networks (DNNs), have shown significant promise in several areas. However, researchers have recently demonstrated that ML algorithms, especially DNNs, are vulnerable to adversarial examples (slightly perturbed samples that cause misclassification). The existence of adversarial examples has hindered the deployment of ML algorithms in safety-critical sectors, such as security. Several defenses for adversarial examples exist in the literature. One of the important classes of defenses are manifold-based defenses, where a sample is ``pulled back" into the data manifold before classifying. These defenses rely on the assumption that data lie in a manifold of a lower dimension than the input space. These defenses use a generative model to approximate the input distribution. In this paper, we investigate the following question: do the generative models used in manifold-based defenses need to be topology-aware? We suggest the answer is yes, and we provide theoretical and empirical evidence to support our claim.

研究动机与目标

• 探究用于基于流形防御的生成模型是否必须感知底层数据流形的拓扑结构。
• 识别忽略拓扑结构的生成模型如何引入拓扑不匹配，从而降低防御性能。
• 评估拓扑感知在 Invert-and-Classify (INC) 防御机制的鲁棒性与准确性方面的影响。
• 探讨类别感知训练在实现生成模型中拓扑分离方面的局限性。
• 为对抗防御框架中设计拓扑感知生成模型提供理论与实证依据。

提出的方法

• 使用微分拓扑进行理论分析，表明非拓扑感知的生成模型可能在真实数据流形与模型诱导分布之间引发拓扑不匹配。
• 将可逆生成模型建模为动力系统，分析潜在空间变换如何在生成过程中影响流形结构。
• 设计一种改进的 Invert-and-Classify (INC) 防御方法，对每个子流形（例如，每个高斯分量）分别执行优化，以避免引入拓扑伪影。
• 采用类别感知训练以促使生成模型学习到不同的流形，尽管该方法在复杂拓扑配置下仍存在局限性。
• 利用潜在分布与生成分布的上水平集来可视化和分析生成模型输出中的拓扑伪影。
• 在合成数据集（如两轮形、螺旋形、圆环）上进行实证评估，比较忽略拓扑结构与具备拓扑感知的生成模型在投影误差分布方面的表现。

实验结果

研究问题

• RQ1 生成模型缺乏拓扑感知是否会影响基于流形防御的有效性？
• RQ2 无法保持数据流形拓扑结构的生成模型是否会导致对抗脆弱性？
• RQ3 类别感知训练在多大程度上能改善生成模型中的拓扑分离？
• RQ4 拓扑不匹配在生成模型的潜在空间与数据空间中如何表现？
• RQ5 拓扑感知对基于投影的防御方法（如 Invert-and-Classify）的一致性与准确性有何影响？

主要发现

• 忽略拓扑结构的生成模型可能引入拓扑不匹配，即模型诱导的分布未能反映真实数据流形的拓扑结构。
• 实证结果表明，拓扑感知的生成模型在两轮形和螺旋形等合成数据集上，将 Invert-and-Classify 防御的平均投影误差降低了高达30%。
• 拓扑感知模型显著降低了投影误差的标准差，表明其在各类对抗样本上表现出更一致且可靠的性能。
• 即使采用类别感知训练，生成模型仍可能在数据空间中产生连通的上水平集（例如，单个连通分量而非两个），表明其未能保持拓扑结构。
• 拓扑感知训练无法确保流形分离的原因与潜在组件的对齐方式有关：水平对齐可实现更好的分离，而垂直对齐则导致伪影。
• 当可逆生成模型被视作动力系统时，若潜在空间未正确对齐，其在处理纠缠流形之间的转换时难以保持拓扑结构。