[论文解读] S2O: Enhancing Adversarial Training with Second-Order Statistics of Weights

Gaojie Jin, Xinping Yi+3 more|arXiv (Cornell University)|Mar 1, 2026

Adversarial Robustness in Machine Learning被引用 0

一句话总结

S2O 在 PAC-Bayes 框架中优化权重的二阶统计以提升对抗鲁棒性和泛化能力，使用拉普拉斯近似来估计权重相关性，独立使用及与其他对抗训练方法结合均有改进。

ABSTRACT

Adversarial training has emerged as a highly effective way to improve the robustness of deep neural networks (DNNs). It is typically conceptualized as a min-max optimization problem over model weights and adversarial perturbations, where the weights are optimized using gradient descent methods, such as SGD. In this paper, we propose a novel approach by treating model weights as random variables, which paves the way for enhancing adversarial training through extbf{S}econd-Order extbf{S}tatistics extbf{O}ptimization (S$^2$O) over model weights. We challenge and relax a prevalent, yet often unrealistic, assumption in prior PAC-Bayesian frameworks: the statistical independence of weights. From this relaxation, we derive an improved PAC-Bayesian robust generalization bound. Our theoretical developments suggest that optimizing the second-order statistics of weights can substantially tighten this bound. We complement this theoretical insight by conducting an extensive set of experiments that demonstrate that S$^2$O not only enhances the robustness and generalization of neural networks when used in isolation, but also seamlessly augments other state-of-the-art adversarial training techniques. The code is available at https://github.com/Alexkael/S2O.

研究动机与目标

• 在 PAC-Bayes 中放宽权重独立性假设以考虑权重相关性。
• 推导包含权重二阶统计量的鲁棒泛化界。
• 开发一个实用的正则化项（S2O），在训练过程中提升鲁棒性和泛化。
• 提供通过拉普拉斯近似的权重相关性高效估计/优化框架。
• 证明 S2O 能与现有对抗训练方法互补并提升在不同架构和数据集上的效果。

提出的方法

• 将权重建模为具有非球形高斯后验的随机变量，以捕捉维度间的相关性。
• 定义并计算用于层内扰动的权重相关矩阵 R、Rc 和 Rr。
• 推导包含相关矩阵的行列式和谱范数的鲁棒泛化界（定理 III.2、III.5）。
• 使用拉普拉斯近似从 Hessian 信息估计权重相关矩阵（第 IV-B 节）。
• 将 S2O 作为基于 Frobenius 范数 的正则化项引入权重相关性，以引导对抗训练（第 IV-C 节）。
• 证明最小化所提出的二阶统计项可收紧鲁棒泛化界并提升鲁棒性。

实验结果

研究问题

• RQ1 二阶权重统计量如何影响对抗训练下的鲁棒泛化界？
• RQ2 权重的相关矩阵在实际中是否能够有效估计（如通过拉普拉斯近似）并整合到训练中？
• RQ3 S2O 在单独使用以及与现有对抗训练方法结合时，是否在不同架构和数据集上提升鲁棒性与泛化？

主要发现

• 包含权重相关性的鲁棒泛化界为理解二阶统计在鲁棒性中的作用提供了洞见。
• 通过 Frobenius 范数优化权重相关矩阵并结合拉普拉斯估计为 S2O 正则化项提供了依据。
• S2O 单独使用时提升鲁棒性与泛化，并在与其他对抗训练方法结合时呈现协同效应。
• 在多种架构（如 ViT-B、DeiT-S）和数据集（如 Tiny-ImageNet、Imagenette）上，通过多种 l_p 范数的鲁棒性指标进行了实证验证。
• S2O 的代码公开，可实现复现与进一步探索。