[论文解读] ResNets Ensemble via the Feynman-Kac Formalism to Improve Natural and Robust Accuracies

Bao Wang, Binjie Yuan+2 more|arXiv (Cornell University)|Nov 26, 2018

Adversarial Robustness in Machine Learning被引用 32

一句话总结

本文提出了一种新颖的ResNet集成方法，通过向残差映射中注入高斯噪声并平均联合训练模型的预测结果，同时提升了自然准确率和鲁棒准确率。受Feynman-Kac形式的启发，该方法近似求解对流-扩散方程，在CIFAR-10上对IFGSM-20攻击实现了85.62%的自然准确率和57.94%的鲁棒准确率，优于当前最先进防御方法。

ABSTRACT

Empirical adversarial risk minimization (EARM) is a widely used mathematical framework to robustly train deep neural nets (DNNs) that are resistant to adversarial attacks. However, both natural and robust accuracies, in classifying clean and adversarial images, respectively, of the trained robust models are far from satisfactory. In this work, we unify the theory of optimal control of transport equations with the practice of training and testing of ResNets. Based on this unified viewpoint, we propose a simple yet effective ResNets ensemble algorithm to boost the accuracy of the robustly trained model on both clean and adversarial images. The proposed algorithm consists of two components: First, we modify the base ResNets by injecting a variance specified Gaussian noise to the output of each residual mapping. Second, we average over the production of multiple jointly trained modified ResNets to get the final prediction. These two steps give an approximation to the Feynman-Kac formula for representing the solution of a transport equation with viscosity, or a convection-diffusion equation. For the CIFAR10 benchmark, this simple algorithm leads to a robust model with a natural accuracy of {\\bf 85.62}\\% on clean images and a robust accuracy of ${\\bf 57.94 \\%}$ under the 20 iterations of the IFGSM attack, which outperforms the current state-of-the-art in defending against IFGSM attack on the CIFAR10. Both natural and robust accuracies of the proposed ResNets ensemble can be improved dynamically as the building block ResNet advances. The code is available at: \\url{https://github.com/BaoWangMath/EnResNet}.

研究动机与目标

• 解决对抗训练的深度神经网络中自然准确率与鲁棒准确率之间的权衡问题。
• 在不牺牲干净数据性能的前提下，提升鲁棒模型的泛化能力。
• 开发一种基于最优控制与输运方程的理论基础坚实的集成方法。
• 提供一种可扩展、内存高效的防御机制，支持推理时集成小型模型。

提出的方法

• 在ResNet的每个残差块输出中注入方差受控的高斯噪声，以正则化底层输运方程的解。
• 通过共享优化策略联合训练多个改进后的ResNet，确保噪声正则化动力学的一致性。
• 使用每轮更新并归一化为和为一的可学习权重，对集成中各模型的输出进行平均。
• 将集成预测表述为对数 logits 的加权平均，最终输出通过组合 logits 上的 log-softmax 计算得出。
• 利用Feynman-Kac公式将集成解释为粘性对流-扩散方程解的近似。
• 通过在加权 logits 上使用链式法则计算梯度，对集成权重进行基于交叉熵损失的梯度下降优化。

实验结果

研究问题

• RQ1 在对抗训练的ResNet中，向残差块中注入受控噪声是否能同时提升自然准确率与鲁棒准确率？
• RQ2 Feynman-Kac形式与深度残差网络在对抗扰动下的泛化行为有何关联？
• RQ3 一个联合训练、注入噪声的简单ResNet集成是否能在CIFAR-10和CIFAR-100上超越标准集成与当前最先进防御方法？
• RQ4 随着基础ResNet架构的演进或扩展，该方法是否仍能保持鲁棒性提升？

主要发现

• 在CIFAR-10上，所提出的集成方法在20次迭代的IFGSM攻击下实现了85.62%的自然准确率和57.94%的鲁棒准确率，优于当前最先进防御方法。
• 在C&W攻击下，注入噪声的ResNet20与ResNet32集成相比En 2 ResNet32在自然准确率上高出0.10%，在鲁棒准确率上高出0.21%。
• 在CIFAR-100上，该集成在C&W攻击下实现了53.07%的自然准确率和42.23%的鲁棒准确率，性能与En 2 ResNet32相当，同时保持了更优的鲁棒性。
• 随着基础ResNet架构的进步，该方法能动态提升性能，自然与鲁棒准确率均随模型改进而同步提升。
• 该集成框架内存效率高，支持训练小型模型，并在推理时集成，无需完整存储所有模型。
• 理论分析将该集成与Feynman-Kac公式关联，将其解释为粘性输运方程解的数值近似。