[论文解读] Uncovering the Connections Between Adversarial Transferability and Knowledge Transferability

Kaizhao Liang, Jacky Zhang+4 more|arXiv (Cornell University)|Jun 25, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文在深度学习中建立了对抗性可迁移性与知识可迁移性之间的双向理论与实证联系。提出基于梯度相似性和海森几何的新度量方法以量化对抗性可迁移性，证明高对抗性可迁移性意味着高知识可迁移性，反之亦然，且通过在图像和自然语言处理基准上的大量实验得到验证，显示出强烈的正相关性。

ABSTRACT

Knowledge transferability, or transfer learning, has been widely adopted to allow a pre-trained model in the source domain to be effectively adapted to downstream tasks in the target domain. It is thus important to explore and understand the factors affecting knowledge transferability. In this paper, as the first work, we analyze and demonstrate the connections between knowledge transferability and another important phenomenon--adversarial transferability, \\emph{i.e.}, adversarial examples generated against one model can be transferred to attack other models. Our theoretical studies show that adversarial transferability indicates knowledge transferability and vice versa. Moreover, based on the theoretical insights, we propose two practical adversarial transferability metrics to characterize this process, serving as bidirectional indicators between adversarial and knowledge transferability. We conduct extensive experiments for different scenarios on diverse datasets, showing a positive correlation between adversarial transferability and knowledge transferability. Our findings will shed light on future research about effective knowledge transfer learning and adversarial transferability analyses.

研究动机与目标

• 探究深度神经网络中对抗性可迁移性与知识可迁移性之间的基本关系。
• 通过考虑所有潜在扰动向量，正式定义对抗性可迁移性，并建立其与知识可迁移性的理论联系。
• 开发实用的对抗性可迁移性度量方法，作为知识可迁移性的双向指标。
• 通过在多样化数据集和模型架构上的受控实验，实证验证理论洞见。
• 通过共享模型相似性特征，为改进迁移学习和对抗鲁棒性提供新见解。

提出的方法

• 本文通过考虑全部对抗性扰动向量集合，正式定义对抗性可迁移性，从而实现严谨的理论分析。
• 推导出理论联系，表明通过对抗损失的海森矩阵所定义的内积空间，高对抗性可迁移性可推导出高知识可迁移性。
• 提出两种实用的对抗性可迁移性度量方法，分别基于梯度余弦相似性和基于海森矩阵的距离，用于实际中量化可迁移性。
• 该方法涉及训练源模型时使用一种损失函数，以正则化其梯度与目标模型的相似性，从而实现对抗性可迁移性的受控调节。
• 通过在下游任务上微调源模型的最后几层来评估知识可迁移性，而对抗性可迁移性则通过使用目标模型生成的对抗样本攻击源模型来测量。
• 实验采用PGD攻击，ℓ∞扰动预算ε=0.1，迭代50次，通过转移损失与对抗性度量之间的皮尔逊相关系数评估相关性。

实验结果

研究问题

• RQ1 是否存在对抗性可迁移性与知识可迁移性之间的基本理论联系？
• RQ2 对抗性可迁移性能否作为知识可迁移性的可靠指标？
• RQ3 知识可迁移性能否以双向方式预测对抗性可迁移性？
• RQ4 梯度相似性与海森几何如何与这两种可迁移性相关联？
• RQ5 对抗性可迁移性度量在多大程度上能预测下游知识可迁移性能？

主要发现

• 在多个数据集和模型架构上，观察到对抗性可迁移性与知识可迁移性之间存在强烈正相关性。
• 当通过梯度正则化（ρ ∈ {0.0, 0.5, 1.0, 2.0, 5.0}）降低对抗性可迁移性时，知识可迁移性也相应下降，准确率从73.91%降至71.62%。
• 样本级知识可迁移损失与对抗性可迁移性度量α₁之间的皮尔逊相关系数为负且显著，证实了理论预测。
• 在自然语言处理实验中，知识可迁移置信度与对抗性可迁移性度量α₁之间发现正相关（皮尔逊得分），表明更高的知识可迁移性导致更高的对抗性可迁移性。
• 所提出的对抗性可迁移性度量（尤其是α₁和α₂）在图像和文本任务中均表现出一致且可靠的性能，可有效预测知识可迁移性。
• 理论分析证实，通过基于海森矩阵的内积空间，高对抗性可迁移性可推导出高知识可迁移性，反之亦然，从而确立了双向关系。