[论文解读] Shared Representational Geometry Across Neural Networks
本文提出，不同神经网络在相同数据集上训练时，通过共享潜在表征空间的正交变换，学习到等价的表征。利用共享响应模型（SRM），作者证明了经对齐后，网络间表征相似性矩阵（RSM）与网络内RSM高度匹配，证实了非线性网络延续了线性网络中正交权重等价的原理。
Different neural networks trained on the same dataset often learn similar input-output mappings with very different weights. Is there some correspondence between these neural network solutions? For linear networks, it has been shown that different instances of the same network architecture encode the same representational similarity matrix, and their neural activity patterns are connected by orthogonal transformations. However, it is unclear if this holds for non-linear networks. Using a shared response model, we show that different neural networks encode the same input examples as different orthogonal transformations of an underlying shared representation. We test this claim using both standard convolutional neural networks and residual networks on CIFAR10 and CIFAR100.
研究动机与目标
- 探究在权重不同的情况下，同一数据集上训练的不同神经网络是否仍能学习到等价的表征。
- 检验线性网络中理论上的正交性原理是否可推广至非线性网络。
- 评估是否可使用共享响应模型（SRM）在不同网络间构建共享表征空间。
- 通过网络间与网络内表征相似性矩阵（RSM）量化对齐质量。
- 确定仅通过正交变换是否足以对齐不同网络架构的激活模式。
提出的方法
- 将共享响应模型（SRM）应用于将不同网络的激活模式通过正交变换矩阵映射到共享表征空间。
- SRM通过在变换矩阵上施加正交性约束，最小化重构误差的Frobenius范数。
- 计算表征相似性矩阵（RSM），用于比较不同输入下隐藏单元激活模式的成对相似性。
- 通过比较网络间RSM（iRSM）与网络内RSM（wRSM）评估对齐质量，高相关性表明对齐成功。
- 提供理论证明，表明网络间RSM完全相同意味着其激活模式是通过共享表征的正交变换关联的。
- 在CIFAR10与CIFAR100上训练的标准卷积神经网络与残差网络上进行实验，以验证方法在不同架构与数据集上的有效性。
实验结果
研究问题
- RQ1能否通过正交变换将同一数据集上训练的不同神经网络对齐至共享表征空间？
- RQ2此前在线性网络中证明的共享表征几何原理是否可推广至非线性深度网络？
- RQ3在SRM对齐后，表征相似性结构是否在不同网络间保持不变？
- RQ4SRM结合正交变换矩阵能否准确恢复不同网络实例间的潜在共享表征？
- RQ5对齐后，网络间RSM与网络内RSM的相似程度如何，以反映功能对应关系的成功程度？
主要发现
- SRM对齐后，网络间RSM（iRSM）与平均网络内RSM（wRSM）高度相关，表明不同网络的表征成功对齐。
- 在CIFAR10上训练的网络中，iRSM与wRSM的相关性平均达到0.92，表明表征相似性极强。
- 理论分析证明，若网络间RSM完全相同，则其激活模式必为共享表征的正交变换结果。
- 即使权重与隐藏单元响应差异显著，SRM结合正交变换矩阵仍能成功对齐来自不同网络的激活模式。
- 结果证实，非线性网络与线性网络一样，通过共同潜在表征空间的刚体变换编码相同的输入-输出函数。
- 该方法在架构间具有泛化能力，标准网络与残差网络在CIFAR10与CIFAR100上均表现出一致的对齐性能。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。