[论文解读] Understanding Robust Learning through the Lens of Representation Similarities

Christian Cianfarani, Arjun Nitin Bhagoji+4 more|arXiv (Cornell University)|Jun 20, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文通过使用 CKA 等度量分析各层之间的表示相似性，研究了对抗性鲁棒深度神经网络与标准网络在表示学习上的差异。研究发现，鲁棒网络缺乏特征专业化，表现出更弱的‘模块化结构’，且在深层存在过拟合现象——这些关键发现解释了鲁棒模型性能下降与泛化能力差的原因。

ABSTRACT

Representation learning, i.e. the generation of representations useful for downstream applications, is a task of fundamental importance that underlies much of the success of deep neural networks (DNNs). Recently, robustness to adversarial examples has emerged as a desirable property for DNNs, spurring the development of robust training methods that account for adversarial examples. In this paper, we aim to understand how the properties of representations learned by robust training differ from those obtained from standard, non-robust training. This is critical to diagnosing numerous salient pitfalls in robust networks, such as, degradation of performance on benign inputs, poor generalization of robustness, and increase in over-fitting. We utilize a powerful set of tools known as representation similarity metrics, across three vision datasets, to obtain layer-wise comparisons between robust and non-robust DNNs with different training procedures, architectural parameters and adversarial constraints. Our experiments highlight hitherto unseen properties of robust representations that we posit underlie the behavioral differences of robust networks. We discover a lack of specialization in robust networks' representations along with a disappearance of `block structure'. We also find overfitting during robust training largely impacts deeper layers. These, along with other findings, suggest ways forward for the design and training of better robust networks.

研究动机与目标

• 理解鲁棒与非鲁棒深度神经网络在表示学习上的根本差异。
• 诊断鲁棒模型中持续存在的问题，如在干净输入上性能下降以及鲁棒性泛化能力差。
• 研究网络架构选择（深度、宽度）、威胁模型和对抗性预算对学习表示的影响。
• 识别导致鲁棒训练失败的表示结构与动态特性。

提出的方法

• 作者使用表示相似性度量，特别是中心化核对齐（CKA），比较深度神经网络所有层之间的激活。
• 他们在 CIFAR-10、ImageNet-Subset（Imagenette/Imagewoof）上训练标准与鲁棒模型，并使用干净输入与对抗性输入评估表示。
• 分析涵盖不同架构（如 Wide ResNet）、对抗性预算（ε）以及威胁模型（ℓ∞、ℓ2、Gabor、JPEG、Snow）的层间比较。
• 通过训练周期追踪表示相似性，以检测深层中的过拟合与不稳定性。
• 对跨威胁模型的相似性进行消融研究，以评估不同对抗性攻击下的对齐程度。
• 结合可视化与统计分析，将表示动态与训练损失及准确率相关联。

实验结果

研究问题

• RQ1 鲁棒与非鲁棒网络在各层的表示结构有何不同？
• RQ2 对抗性鲁棒性在多大程度上削弱了深层表示中的特征专业化与模块化结构？
• RQ3 架构超参数（宽度、深度）及对抗性预算如何影响表示相似性与模型容量？
• RQ4 为何鲁棒模型在深层更容易过拟合，这对泛化能力有何影响？
• RQ5 在不同威胁模型下学习到的表示有多相似，能否通过表示对齐实现跨模型的联合鲁棒性？

主要发现

• 与非鲁棒模型相比，鲁棒网络在空间上相距较远的层之间表现出显著更高的层间相似性，表明其缺乏特征专业化。
• 鲁棒表示中缺乏‘模块化结构’，暗示其特征学习过程更趋均匀，而非层次化。
• 在鲁棒训练过程中，过拟合现象在深层最为显著，尽管早期层保持稳定，但深层表示在训练过程中剧烈变化。
• 增加对抗性预算或减少网络宽度会提高长程表示相似性，暗示相对容量降低。
• 即使在视觉上差异显著的威胁模型（如 Snow 与 Gabor）也产生高度相似的表示，表明不同攻击类型间存在共享的归纳偏置。
• 由于深层表示对齐较差，尤其在高预算下，实现跨多样化威胁模型的联合鲁棒性极具挑战。