[论文解读] Similarity and Matching of Neural Network Representations

Adrián Csiszárik, Péter Kőrösi-Szabó+3 more|arXiv (Cornell University)|Oct 27, 2021

Model Reduction and Neural Networks被引用 20

一句话总结

本文提出 Dr. Frankenstein 工具集，通过在两个网络之间添加仿射连接层，评估神经网络表征相似性，证明了即使使用不同初始化的相同架构，也可通过单个仿射层实现高精度匹配。核心贡献在于提出一种功能相似性视角，揭示了标准相似性指标（如 CKA）与实际任务性能之间的差异，表明高相似性指标值并不能保证良好的连接性能。

ABSTRACT

We employ a toolset -- dubbed Dr. Frankenstein -- to analyse the similarity of representations in deep neural networks. With this toolset, we aim to match the activations on given layers of two trained neural networks by joining them with a stitching layer. We demonstrate that the inner representations emerging in deep convolutional neural networks with the same architecture but different initializations can be matched with a surprisingly high degree of accuracy even with a single, affine stitching layer. We choose the stitching layer from several possible classes of linear transformations and investigate their performance and properties. The task of matching representations is closely related to notions of similarity. Using this toolset, we also provide a novel viewpoint on the current line of research regarding similarity indices of neural network representations: the perspective of the performance on a task.

研究动机与目标

• 探究神经网络表征的功能相似性，超越标准的统计相似性度量。
• 探索是否可通过单个仿射连接层，实现对相同架构但不同初始化的表征进行功能匹配。
• 评估表征相似性指标（如 CKA）与连接网络中实际任务性能之间的关系。
• 分析连接变换的结构特性，包括稀疏性、唯一性及模式连通性。
• 证明基于任务损失的连接层训练优于直接匹配，尤其在稀疏性约束下表现更优。

提出的方法

• 使用单个仿射变换层将两个相同的深度卷积神经网络在对应中间层之间进行连接。
• 通过直接匹配（最小化激活之间的 MSE）或任务损失（端到端微调连接网络）训练连接层。
• 采用最优最小二乘初始化，避免连接层优化中的不良局部极小值。
• 应用 L1 正则化以诱导连接矩阵的稀疏性，并分析其对性能的影响。
• 通过在多个连接矩阵之间插值并沿路径评估性能，执行线性模式连通性分析。
• 比较不同初始化方案和稀疏度水平下连接层的性能。

实验结果

研究问题

• RQ1 是否可使用单个仿射连接层，将两个相同架构但不同初始化的网络的表征实现功能匹配？
• RQ2 标准表征相似性指标（如 CKA）与连接网络中的实际任务性能之间的相关性如何？
• RQ3 连接层中的稀疏性如何影响组合网络的性能？
• RQ4 针对同一层的多个最优连接变换是否可通过线性模式连通性连接？
• RQ5 在稀疏性约束下，基于任务损失的连接层训练是否显著优于直接匹配？

主要发现

• 使用单个仿射连接层的连接网络，在匹配相同架构但不同初始化的表征时，准确率高达 97.7%。
• 高中心化核对齐（CKA）值并不能保证连接网络中的良好性能，表明标准相似性指标与功能相似性之间存在脱节。
• 在稀疏性约束下，基于任务损失的连接层训练显著优于直接匹配，即使在 90% 稀疏度下仍能保持高准确率，而直接匹配性能急剧下降。
• 最优最小二乘初始化始终能生成高性能的连接层，降低陷入不良局部极小值的风险。
• 线性模式连通性在大多数层中成立，但在早期层中虽性能优异却失败，表明早期表征存在复杂的优化动力学。
• 连接矩阵表现出非平凡的稀疏性模式，且表征间的关系并非组合性，表明其功能对齐远超简单的神经元到神经元映射。