[论文解读] Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness

Zifeng Wang, Tong Jian+3 more|arXiv (Cornell University)|Jun 4, 2021

Adversarial Robustness in Machine Learning被引用 15

一句话总结

本文提出HSIC-Bottleneck-as-Regularizer（HBaR），一种通过使用希尔伯特-施密特独立性准则（HSIC）正则化中间层表征来增强深度神经网络对抗鲁棒性的方法。HBaR在理论上和实证上均降低了对对抗扰动的敏感性，即使在不进行对抗训练的情况下也能提升鲁棒性，并且在CIFAR-10和CIFAR-100基准上与最先进对抗训练方法结合时能持续提升性能。

ABSTRACT

We investigate the HSIC (Hilbert-Schmidt independence criterion) bottleneck as a regularizer for learning an adversarially robust deep neural network classifier. In addition to the usual cross-entropy loss, we add regularization terms for every intermediate layer to ensure that the latent representations retain useful information for output prediction while reducing redundant information. We show that the HSIC bottleneck enhances robustness to adversarial attacks both theoretically and experimentally. In particular, we prove that the HSIC bottleneck regularizer reduces the sensitivity of the classifier to adversarial examples. Our experiments on multiple benchmark datasets and architectures demonstrate that incorporating an HSIC bottleneck regularizer attains competitive natural accuracy and improves adversarial robustness, both with and without adversarial examples during training. Our code and adversarially robust models are publicly available.

研究动机与目标

• 在不完全依赖对抗训练的前提下，提升深度神经网络的对抗鲁棒性。
• 通过使用可计算的替代方法HSIC，解决传统信息瓶颈方法中互信息计算不可行的问题。
• 提供一个理论基础坚实的正则化器，以约束模型对输入扰动的敏感性。
• 证明HSIC正则化能在缺乏对抗样本的训练过程中，提升多种架构和数据集下的鲁棒性。
• 将HBaR与现有最先进对抗训练方法结合，进一步提升鲁棒性。

提出的方法

• 提出HSIC-Bottleneck-as-Regularizer（HBaR），一种通过最小化输入与潜在表征之间HSIC的同时保留对输出相关的信息，来实现正则化的机制。
• 在深度神经网络的所有中间层应用HSIC正则化器，同时保留标准交叉熵损失。
• 理论分析表明，HBaR通过限制输入噪声对潜在表征的影响，降低了分类器对对抗扰动的敏感性。
• 在ResNet-18和WideResNet-28-10上，基于FGSM、PGD、CW和AutoAttack对CIFAR-10和CIFAR-100进行实证验证。
• 将HBaR与对抗训练基线方法（PGD、TRADES、MART）结合，证明其在鲁棒性上的持续增益。
• 采用多个随机种子（5次运行）报告均值与标准差，确保统计可靠性。

实验结果

研究问题

• RQ1 基于HSIC的正则化是否能在不使用对抗样本训练的情况下提升深度神经网络的对抗鲁棒性？
• RQ2 与基于互信息的信息瓶颈方法相比，HBaR在鲁棒性和计算效率方面表现如何？
• RQ3 HBaR是否能增强现有最先进对抗训练方法（如TRADES和MART）的鲁棒性？
• RQ4 HBaR降低对对抗扰动敏感性的理论依据是什么？
• RQ5 HBaR在面对多种对抗攻击（包括强且自适应的AutoAttack）时表现如何？

主要发现

• 在CIFAR-10上使用ResNet-18时，HBaR与PGD训练结合，实现63.84%的自然准确率和31.59%的FGSM鲁棒性。
• 在CIFAR-100上使用WideResNet-28-10时，HBaR + MART实现58.93%的自然准确率和33.49%的FGSM鲁棒性，优于MART单独训练（58.42%自然准确率，32.94% FGSM鲁棒性）。
• HBaR在无对抗样本训练时仍能提升鲁棒性，表明其相较于IB方法具有显著优势。
• 与TRADES结合时，HBaR将CIFAR-100上PGD-20的鲁棒性从31.32%提升至31.96%，表明在各类攻击下均具有一致改进。
• HBaR在五次随机种子下表现稳定，所有报告指标的标准差均低于0.15，体现性能一致性。
• 该方法在IB类方法中达到最先进水平，并在多种数据集、架构和攻击类型下持续提升鲁棒性。