[论文解读] Similarity of Neural Network Models: A Survey of Functional and Representational Measures

Max Klabunde, Tobias Schumacher+2 more|arXiv (Cornell University)|May 10, 2023

Model Reduction and Neural Networks被引用 14

一句话总结

对神经网络的表征相似性和功能相似性度量的全面综述，统一术语、属性与未解决的挑战。

ABSTRACT

Measuring similarity of neural networks to understand and improve their behavior has become an issue of great importance and research interest. In this survey, we provide a comprehensive overview of two complementary perspectives of measuring neural network similarity: (i) representational similarity, which considers how activations of intermediate layers differ, and (ii) functional similarity, which considers how models differ in their outputs. In addition to providing detailed descriptions of existing measures, we summarize and discuss results on the properties of and relationships between these measures, and point to open research problems. We hope our work lays a foundation for more systematic research on the properties and applicability of similarity measures for neural network models.

研究动机与目标

• 在两个互补维度上定义比较神经网络的问题：隐藏层中的表征以及在诸如分类等任务中的输出行为。
• 提供一个系统且统一的概述，涵盖表征和输出的现有相似性度量。
• 澄清度量的预处理、不变性和实践属性，以指导应用与解读。
• 分析表征相似性与功能相似性之间的关系，并讨论何时它们一致或分歧。
• 突出神经网络相似性研究中的开放挑战和未来方向。

提出的方法

• 将神经网络形式化为分层的组合，并定义两种相似性视角：表征（激活）和功能（输出）。
• 将表征度量分类为若干类别（如基于 CCA、对齐、以及其他），并概述它们的不变性和预处理需求。
• 描述基于对齐的方法（如 Orthogonal Procrustes、Generalized Shape Metrics）及其不变性属性。
• 讨论预处理步骤（归一化、维度调整、展平）以及它们如何影响度量的不变性。
• 概述表征相似性与功能相似性之间的相互作用，包括何时它们可能分歧或相互印证。

实验结果

研究问题

• RQ1 神经网络现有的表征相似性和功能相似性度量有哪些？
• RQ2 这些度量之间的关系如何，在何种情境下它们在刻画模型相似性时会一致或冲突？
• RQ3 这些度量的实际属性（鲁棒性、不变性、预处理需求）是什么，以及它们如何影响适用性？
• RQ4 在对神经网络相似性进行系统研究中，仍存在哪些开问题和研究空缺？

主要发现

• 该综述提供了一个正式、统一的框架，区分表征相似性与功能相似性，并对两者进行了广泛度量的综述。
• 表征度量被分类（如基于 CCA 的 SVCCA 和 PWCCA；基于对齐的如 Orthogonal Procrustes）并给出明确的不变性和预处理需求。
• 功能相似性度量主要在多类分类背景下讨论，且在很多情况下可以在黑盒访问下进行，凸显了实际可用性。
• 表征相似性与功能相似性之间没有保证的相关性；高功能相似性不意味着表征相似，反之亦然，需要谨慎解读。
• 该论文指出开放的研究挑战，并强调需要对度量属性、不变性以及在跨任务和体系结构中的适用性进行系统分析。