[论文解读] Synaptic Weight Distributions Depend on the Geometry of Plasticity

Roman Pogodin, Jonathan Cornford+4 more|arXiv (Cornell University)|May 30, 2023

Neuroscience and Neuropharmacology ResearchNeuroscience被引用 3

一句话总结

本文表明，大脑突触权重分布受可塑性内在几何结构的影响，而不仅仅是损失函数。通过镜像下降理论，证明了常见的实验观测到的对数正态权重分布意味着非欧几里得突触几何结构，从而挑战了神经科学模型中假设的欧几里得梯度下降。

ABSTRACT

A growing literature in computational neuroscience leverages gradient descent and learning algorithms that approximate it to study synaptic plasticity in the brain. However, the vast majority of this work ignores a critical underlying assumption: the choice of distance for synaptic changes - i.e. the geometry of synaptic plasticity. Gradient descent assumes that the distance is Euclidean, but many other distances are possible, and there is no reason that biology necessarily uses Euclidean geometry. Here, using the theoretical tools provided by mirror descent, we show that the distribution of synaptic weights will depend on the geometry of synaptic plasticity. We use these results to show that experimentally-observed log-normal weight distributions found in several brain areas are not consistent with standard gradient descent (i.e. a Euclidean geometry), but rather with non-Euclidean distances. Finally, we show that it should be possible to experimentally test for different synaptic geometries by comparing synaptic weight distributions before and after learning. Overall, our work shows that the current paradigm in theoretical work on synaptic plasticity that assumes Euclidean synaptic geometry may be misguided and that it should be possible to experimentally determine the true geometry of synaptic plasticity in the brain.

研究动机与目标

• 挑战计算神经科学中广泛存在的假设，即突触可塑性在权重空间中使用欧几里得几何（即L2-范数距离）。
• 研究实验观测到的突触权重分布（尤其是对数正态分布）是否与欧几里得几何下的标准梯度下降一致。
• 基于镜像下降理论，构建一个将突触几何结构与突触权重分布结果相联系的理论框架。
• 提出一种通过比较学习前后突触权重分布，来实验检验候选突触几何结构的方法。
• 证明非欧几里得几何（如负熵或p-范数所诱导的几何）比欧几里得几何更符合实验数据。

提出的方法

• 应用镜像下降理论来建模突触可塑性，其中发散度的选择（如Kullback-Leibler散度、负熵、p-范数）定义了突触几何结构。
• 推导出在对偶空间中，总突触权重变化在温和假设下近似为高斯分布，与损失函数无关。
• 利用这种对偶性表明，若原始空间中突触权重分布为对数正态分布，则其必源于对偶空间中的非欧几里得几何。
• 通过在不同p-范数和负熵下训练深度神经网络，实证验证该框架，观察不同几何结构下的权重变化幅度。
• 将模型预测与来自树突棘体积测量的实验数据（如[34]）进行比较，在对偶空间中拟合混合模型以匹配观测到的对数正态分布。
• 提出实验检验方法：通过比较学习前后的突触权重分布，排除基于其预测分布结果的候选几何结构。

实验结果

研究问题

• RQ1 大脑中观测到的对数正态突触权重分布是否意味着突触可塑性的非欧几里得几何？
• RQ2 能否在不依赖损失函数的前提下，仅从突触权重分布推断出突触可塑性的几何结构？
• RQ3 标准梯度下降在欧几里得几何下是否与实验观测到的突触权重分布一致？
• RQ4 能否通过比较学习前后突触权重分布来实验检验突触几何结构？
• RQ5 非欧几里得突触几何对大脑学习与可塑性模型有何影响？

主要发现

• 在皮层和海马区广泛观测到的对数正态突触权重分布，与欧几里得几何下的标准梯度下降不一致。
• 突触权重分布依赖于可塑性的底层几何结构，这一点由镜像下降理论证实，即使损失函数保持不变。
• 在任何有效几何结构下，突触变化的对偶空间近似为高斯分布，通过将其与实验观测分布匹配，可识别出真实几何结构。
• 负熵和p-范数几何结构（如3-范数）能够再现实验观测到的对数正态及混合型突触权重分布。
• 在训练后的深度神经网络中，权重变化的幅度通常低于0.2，负熵变化保持在0.02以下，支持了小变化近似的有效性。
• 该框架具备实验预测能力：通过比较学习前后的突触权重分布，可排除候选几何结构，为未来神经科学研究提供可检验的假设。