[论文解读] Retrieval-Augmented Convolutional Neural Networks for Improved Robustness against Adversarial Examples

Jake Zhao, Kyunghyun Cho|arXiv (Cornell University)|Feb 26, 2018

Adversarial Robustness in Machine Learning参考文献 42被引用 10

一句话总结

该论文提出检索增强卷积神经网络（RaCNN），通过将预训练检索引擎与深度CNN结合，提升对对抗样本的鲁棒性。通过将输入投影到检索到的最近邻特征空间凸包上，并采用局部混合（local mixup）进行训练以强制实现局部线性，RaCNN在CIFAR-10、SVHN和ImageNet上相较于普通CNN展现出更优的鲁棒性，尤其在对抗黑盒攻击下表现突出。

ABSTRACT

We propose a retrieval-augmented convolutional network and propose to train it with local mixup, a novel variant of the recently proposed mixup algorithm. The proposed hybrid architecture combining a convolutional network and an off-the-shelf retrieval engine was designed to mitigate the adverse effect of off-manifold adversarial examples, while the proposed local mixup addresses on-manifold ones by explicitly encouraging the classifier to locally behave linearly on the data manifold. Our evaluation of the proposed approach against five readily-available adversarial attacks on three datasets--CIFAR-10, SVHN and ImageNet--demonstrate the improved robustness compared to the vanilla convolutional network.

研究动机与目标

• 同时应对离流形和流形上的对抗样本，而现有防御方法往往无法同时处理这两种情况。
• 提升分类器在真实部署场景中的鲁棒性，特别是在黑盒攻击频发的云环境中的表现。
• 利用现成的检索引擎，局部近似数据流形，无需微调或架构重构。
• 设计一种训练策略，通过强制在数据流形上实现局部线性，缓解流形上的对抗样本问题。
• 通过控制检索集合大小和计算成本，平衡鲁棒性增益与泛化性能。

提出的方法

• 使用预训练特征提取器 φ′ 计算输入 x 与 D′ 中候选样本之间的L2距离，借助现成检索引擎 F 实现高效检索。
• 利用距离 k(x,x′) = ||φ′(x)−φ′(x′)||² 从 D′ 中检索 K 个最近邻 F(x)，形成特征空间凸包 C(F(x))，作为数据流形的局部近似。
• 应用基于注意力的投影机制，将输入 x 投影到凸包 C(F(x)) 上，通过可学习权重 βk 近似精确投影。
• 引入“局部混合”——一种仅在检索到的凸包内生成插值的混合方法，促使分类器 g 在流形上实现局部线性。
• 联合训练CNN（φ, g）与基于检索的投影，采用交叉熵损失并结合局部混合正则化。
• 将检索引擎 F 视为可微、目标驱动的组件，在训练过程中通过注意力机制实现特征对齐，以提升鲁棒性。

实验结果

研究问题

• RQ1 检索增强架构能否同时提升对离流形和流形上对抗样本的鲁棒性？
• RQ2 在检索邻居的特征空间凸包内应用局部混合，如何增强流形上的局部线性与鲁棒性？
• RQ3 检索引擎的鲁棒性在多大程度上影响RaCNN的整体对抗鲁棒性？
• RQ4 RaCNN在不同类型的攻击下（包括白盒与黑盒攻击）在不同规模数据集上的表现如何？
• RQ5 通过调整检索邻居数量等超参数，能否控制鲁棒性与干净准确率之间的权衡？

主要发现

• RaCNN在CIFAR-10、SVHN和ImageNet上对五类测试攻击（FGSM、iFGSM、DeepFool、L-BFGS和Boundary）的鲁棒性均优于普通卷积网络。
• 该模型在黑盒、基于决策的Boundary攻击下表现出显著的抗性，表明其在云环境部署中具有强大潜力。
• 在L-BFGS攻击下观察到鲁棒性下降，表明强白盒优化器仍可能利用模型漏洞。
• 即使在高噪声对抗扰动下，检索引擎仍能保持检索结果的语义一致性（例如，鱼类图像仍被检索为鱼类），表明对输入扰动具有鲁棒性。
• RaCNN的性能对特征提取器 φ′ 的选择敏感；使用原始像素（φ′(x)=x）可提升鲁棒性，但可能降低干净准确率。
• 通过调整检索邻居数量，可调控鲁棒性与干净准确率之间的权衡，提供可控的部署折中方案。