[论文解读] Soft Matching Distance: A metric on neural representations that captures single-neuron tuning

Meenakshi Khosla, Alex H. Williams|arXiv (Cornell University)|Nov 16, 2023

Advanced Neuroimaging Techniques and Applications被引用 6

一句话总结

本文提出了软匹配距离（Soft Matching Distance），一种对旋转敏感且排列不变的神经表征度量方法，通过最优传输理论将先前仅适用于同尺寸网络的一对一神经元匹配推广至异构尺寸网络。该方法揭示了旋转不变度量所忽略的神经调谐中的几何结构，并表明单神经元调谐在人工与生物神经网络间得以保留，其在区分模型与大脑相似性方面优于标准的线性可预测性度量。

ABSTRACT

Common measures of neural representational (dis)similarity are designed to be insensitive to rotations and reflections of the neural activation space. Motivated by the premise that the tuning of individual units may be important, there has been recent interest in developing stricter notions of representational (dis)similarity that require neurons to be individually matched across networks. When two networks have the same size (i.e. same number of neurons), a distance metric can be formulated by optimizing over neuron index permutations to maximize tuning curve alignment. However, it is not clear how to generalize this metric to measure distances between networks with different sizes. Here, we leverage a connection to optimal transport theory to derive a natural generalization based on "soft" permutations. The resulting metric is symmetric, satisfies the triangle inequality, and can be interpreted as a Wasserstein distance between two empirical distributions. Further, our proposed metric avoids counter-intuitive outcomes suffered by alternative approaches, and captures complementary geometric insights into neural representations that are entirely missed by rotation-invariant metrics.

研究动机与目标

• 开发一种能捕捉神经表征中单神经元调谐的度量方法，该方法可弥补旋转不变相似性度量所忽略的特性。
• 将先前仅限于同尺寸网络的一对一神经元匹配方法，推广至适用于异构尺寸网络的框架。
• 提供一种对称度量，满足三角不等式，并避免其他旋转敏感方法产生的反直觉结果。
• 通过实证评估单神经元调谐是否在人工与生物神经网络之间得以保留。
• 提供一种定量工具，用于在“调谐重要”与“几何结构已足够”两种竞争假说之间做出裁决。

提出的方法

• 该方法利用最优传输理论计算两组神经网络中神经元之间的软排列（软分配），从而实现异构尺寸网络间的匹配。
• 将距离定义为调谐曲线经验分布之间的Wasserstein距离，确保对称性与三角不等式。
• 通过求解正则化最优传输问题实现软匹配，其中代价矩阵编码了神经元间调谐曲线的相似性。
• 该方法将Williams等人[13]提出的基于排列的Procrustes方法推广至允许非整数、概率性神经元分配的场景。
• 该度量对神经元索引排列保持不变，但对旋转敏感，从而保留调谐曲线的几何结构。
• 该方法被应用于比较深度神经网络与人类视觉皮层的fMRI数据中的表征。

Figure 1: (A) Example tuning curves from 3 neurons over a 1D stimulus space. (B) Manifold (black curve) arising from tuning curves from panel A in 3D neural firing rate space. Each coordinate axis encodes a single-neural firing rate, colored as in panel A. (C) A rotated manifold with the same shape

实验结果

研究问题

• RQ1 能否开发一种度量方法，既能捕捉单神经元调谐，又能对神经元索引排列保持不变？
• RQ2 如何将一对一神经元匹配推广至异构尺寸网络？
• RQ3 软匹配距离是否能揭示旋转不变度量所忽略的神经表征中的几何结构？
• RQ4 单神经元调谐是否在人工网络之间以及人工与生物神经网络之间得以保留？
• RQ5 软匹配距离是否能比标准线性可预测性或旋转不变度量更好地区分模型架构与脑区？

主要发现

• 软匹配距离成功利用最优传输导出的软分配，将一对一匹配推广至异构尺寸网络。
• 该度量具有对称性并满足三角不等式，因此在度量空间中是有效的距离。
• 在CIFAR10与CIFAR100数据集上，该度量揭示了无论随机种子、网络架构或训练方案如何，激活基底的可重复收敛现象。
• 在脑网络比较中，软匹配距离在区分卷积网络与Transformer模型方面优于线性可预测性度量，并能更准确识别腹侧视觉通路为物体分类模型的最佳匹配。
• 该度量检测到了旋转不变度量（如CKA与RSA）所未能发现的模型-大脑相似性显著差异。
• 实证结果支持单神经元调谐在人工与生物网络之间以高于随机水平的方式得以保留的假设，表明调谐的重要性超越了单纯的几何结构。

Figure 2: (A) One-to-one matching distance, schematized as alignment of $M$ points in $N$ -dimensional space by optimally permuting coordinate axes. Colors denote landmark labels (e.g. image labels) that are common across the two networks. (B) Dual perspective of one-to-one matching distance, schema