[论文解读] Probabilistic Synapses

Laurence Aitchison, Alex Pouget+1 more|arXiv (Cornell University)|Oct 4, 2014

Neural dynamics and brain function参考文献 4被引用 6

一句话总结

该论文提出，突触通过在突触权重上维持概率分布（同时存储均值和不确定性，即误差条），执行贝叶斯推理。通过从这些分布中采样，突触可根据不确定性调节学习速率，并通过传递中的变异性传递不确定性，从而为在噪声环境中实现快速、鲁棒的学习提供了一个规范性、生物学上合理的框架。

ABSTRACT

Learning, especially rapid learning, is critical for survival. However, learning is hard: a large number of synaptic weights must be set based on noisy, often ambiguous, sensory information. In such a high-noise regime, keeping track of probability distributions over weights - not just point estimates - is the optimal strategy. Here we hypothesize that synapses take that optimal strategy: they do not store just the mean weight; they also store their degree of uncertainty - in essence, they put error bars on the weights. They then use that uncertainty to adjust their learning rates, with higher uncertainty resulting in higher learning rates. We also make a second, independent, hypothesis: synapses communicate their uncertainty by linking it to variability, with more uncertainty leading to more variability. More concretely, the value of a synaptic weight at a given time is a sample from its probability distribution. These two hypotheses cast synaptic plasticity as a problem of Bayesian inference, and thus provide a normative view of learning. They are consistent with known learning rules, offer an explanation for the large variability in the size of post-synaptic potentials, and make several falsifiable experimental predictions.

研究动机与目标

• 解决在感官输入模糊且不可靠的高噪声环境中实现快速学习的挑战。
• 提出突触不仅存储权重的点估计值，还存储其不确定性，从而在不确定性条件下实现最优学习。
• 解释突触后电位的观测变异性作为突触不确定性及权重分布采样的直接结果。
• 在贝叶斯推理框架下统一已知的突触可塑性规则，为学习提供一个规范性理论。

提出的方法

• 将突触建模为维持权重的概率分布，而非单一的点估计值。
• 实现学习速率的调制，使得权重估计的不确定性越高，学习速率也越高。
• 将突触传递中的变异性与权重分布的不确定性直接关联，使观测到的变异性反映对权重的置信度。
• 将任意时刻突触的实际值视为其潜在概率分布的随机采样结果。
• 将突触可塑性视为贝叶斯推理，其中更新基于给定噪声输入的权重后验分布推导得出。
• 利用该框架推导出关于突触动力学和变异性可检验的预测。

实验结果

研究问题

• RQ1 在存在噪声和模糊感官输入的情况下，突触如何实现最优学习？
• RQ2 突触传递中的变异性具有何种功能作用？它能否编码突触权重的不确定性？
• RQ3 能否从规范性的贝叶斯推理视角推导出突触可塑性规则？
• RQ4 突触权重的不确定性如何影响学习速率和适应速度？
• RQ5 哪些实验特征可将该概率性突触模型与经典点估计模型区分开来？

主要发现

• 存储并从权重概率分布中采样的突触可在高噪声环境中实现最优学习。
• 不确定性越高，学习速率越大，从而在权重估计不可靠时实现更快的适应。
• 突触后电位的变异性自然源于对不确定权重分布的采样，从而解释了观测到的生物学变异性。
• 该模型为已知的突触可塑性规则（如脉冲时序依赖可塑性中的规则）提供了规范性解释。
• 该框架生成了可证伪的预测，例如不同突触之间突触变异性与学习速率之间的相关性。
• 该模型调和了突触传递看似随机的特性与一种有原则的信息论角色之间的矛盾，使其在学习中具有合理意义。