[论文解读] Similarity of Neural Networks with Gradients

Shuai Tang, Wesley J. Maddox+3 more|arXiv (Cornell University)|Mar 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 23被引用 12

一句话总结

该论文提出了一种新颖的神经网络相似性指标，通过将特征向量和梯度向量结合为基于核的方法表示，利用压缩技术实现可扩展性，并对数据集大小差异保持不变。该方法在独立训练于不同数据集的模型比较中实现了最先进性能，其中中心化核对齐（CKA）在实验评估中优于归一化布雷斯相似性（NBS）。

ABSTRACT

A suitable similarity index for comparing learnt neural networks plays an important role in understanding the behaviour of the highly-nonlinear functions, and can provide insights on further theoretical analysis and empirical studies. We define two key steps when comparing models: firstly, the representation abstracted from the learnt model, where we propose to leverage both feature vectors and gradient ones (which are largely ignored in prior work) into designing the representation of a neural network. Secondly, we define the employed similarity index which gives desired invariance properties, and we facilitate the chosen ones with sketching techniques for comparing various datasets efficiently. Empirically, we show that the proposed approach provides a state-of-the-art method for computing similarity of neural networks that are trained independently on different datasets and the tasks defined by the datasets.

研究动机与目标

• 开发一种用于比较在不同数据集上训练的神经网络的稳健相似性指标。
• 解决现有相似性指标在处理大小不同的数据集时的局限性。
• 结合来自损失曲面的特征表示和梯度信息，实现更丰富的模型表征。
• 利用压缩技术实现高效、可扩展的比较，同时保持谱结构特性。
• 通过核均值嵌入范数提供模型相似性的可解释性方面的实证与理论洞察。

提出的方法

• 该方法利用神经网络隐藏层的特征向量和梯度向量构建联合核表示。
• 通过核均值嵌入表示预测分布，其嵌入范数用作模型-数据集对齐的代理指标。
• 使用压缩技术将高维核矩阵投影到低维空间，实现高效计算，并对样本大小变化保持不变。
• 在压缩表示上使用CKA或NBS计算相似性指标，实验表明CKA性能更优，因此更受青睐。
• 该方法支持在不同数据集上训练的模型之间的比较，能够分析迁移性和适应难度。
• 该方法采用批量并行梯度计算，相比先前方法显著降低了时间和空间复杂度。

实验结果

研究问题

• RQ1 如何设计一种能有效比较在不同数据集上训练的神经网络的相似性指标？
• RQ2 梯度向量在捕捉任务特定信息方面在模型比较中起到什么作用？
• RQ3 压缩技术能否实现对不同大小数据集上神经网络表示的可扩展且不变的比较？
• RQ4 核均值嵌入的范数如何反映模型与数据集之间的相似性？
• RQ5 在CKA与NBS中，哪种相似性指标更能捕捉模型与数据集之间的有意义关系？

主要发现

• 所提出的方法在测量在不同数据集上独立训练的神经网络之间的相似性方面实现了最先进性能。
• 在核表示中结合特征与梯度向量，相比仅使用特征，能产生更具信息量的相似性分数。
• 压缩技术实现了高效计算，并对不同数据集大小保持不变，使该方法具备可扩展性。
• 核均值嵌入的范数||μp||成功捕捉了直观概念：在相似数据集（如CIFAR-10与CIFAR-100）上训练的模型需要更少的适应。
• CKA优于NBS作为相似性指标，因为它更能反映真实的模型相似性，尤其是在数据集大小不同时表现更优。
• 该方法揭示，SVHN上训练的模型与CIFAR-100的相似性高于与CIFAR-10的相似性，与领域相似性的预期一致。