[论文解读] Natural selection finds natural gradient

Lancelot Da Costa, Thomas Parr+2 more|arXiv (Cornell University)|Jan 22, 2020

Neural dynamics and brain function参考文献 85被引用 9

一句话总结

本文提出，大脑中的主动推理近似于自然梯度下降——一种来自信息几何的计算最优优化方法。通过证明基于自由能最小化的神经动力学与自然梯度更新一致，该研究表明，自然选择可能已筛选出能够隐式执行信息空间中高效信念更新的神经机制。

ABSTRACT

Active inference provides a biologically plausible process theory of brain function. It specifies neuronal dynamics for state-estimation in terms of a gradient descent on (variational) free energy -- a measure of the fit between an internal (generative) model and sensory observations. When formulated for discrete state-space generative models, the free energy gradient turns out to be a prediction error -- plausibly encoded in the average membrane potentials of neuronal populations. Conversely, the expected probability of a state can then be expressed in terms of firing rates. We establish a construct validity to this scheme -- by showing that it is consistent with current models of neuronal dynamics -- and face validity, as it is able to synthesize a wide range of biologically plausible electrophysiological responses. We then show that these neuronal dynamics approximate natural gradient descent, a well-known optimisation algorithm from information geometry that prescribes locally optimal belief updates. Lastly, numerical simulations suggest that both schemes perform equally well on average. The performance of belief updating is scored in terms of information length, a measure of the distance traveled in information space, which has a direct interpretation in terms of metabolic efficiency. These results show that active inference is consistent with state-of-the-art models of neuronal dynamics and coincides with the natural gradient. This suggests that natural selection, by selecting the phenotypes that optimise metabolic and computational efficiency, has implicitly approximated the steepest direction in information space; namely, natural gradient descent.

研究动机与目标

• 建立主动推理与神经计算中自然梯度下降之间具有生物学合理性的联系。
• 验证基于自由能最小化的神经动力学与已知的神经活动模型一致。
• 研究主动推理在信息效率方面是否与自然梯度下降表现相当。
• 探讨这种对齐对理解大脑功能进化优化的意义。

提出的方法

• 在离散状态空间生成模型中，使用变分自由能最小化来表述主动推理。
• 通过平均膜电位表示预测误差，通过神经元放电率表示信念。
• 推导自由能梯度，并表明其对应于信息几何中的自然梯度下降。
• 使用数值模拟，以信息长度作为代谢成本的代理，比较主动推理与自然梯度下降的性能。
• 应用信息几何量化信念空间中行进的距离，将其与代谢效率联系起来。
• 通过与已知神经动力学对齐建立结构效度，并通过电生理响应模式的合理性验证其表面效度。

实验结果

研究问题

• RQ1 主动推理的神经动力学是否在信息空间中近似于自然梯度下降？
• RQ2 在信息长度和代谢效率方面，主动推理与自然梯度下降的性能相比如何？
• RQ3 所提出的框架能否重现具有生物学合理性的电生理响应？
• RQ4 是否存在自然梯度下降与神经计算进化优化之间的直接联系？
• RQ5 自由能最小化在近似信息空间中最速下降中起什么作用？

主要发现

• 主动推理的神经动力学与当前神经动力学模型一致，建立了结构效度。
• 在离散状态空间模型中，自由能梯度对应于预测误差，其可能以平均膜电位的形式编码。
• 主动推理中的信念更新机制近似于自然梯度下降，这是一种局部最优的优化方法。
• 数值模拟表明，主动推理与自然梯度下降在信息长度方面平均表现相当。
• 与自然梯度下降的对齐表明，自然选择可能隐式优化了信息空间中最速下降。
• 结果表明，大脑中的代谢效率可能源于对近似自然梯度下降的神经机制的进化选择。