[论文解读] Time Resolution Dependence of Information Measures for Spiking Neurons: Atoms, Scaling, and Universality

Sarah Marzen, Michael R. DeWeese+1 more|arXiv (Cornell University)|Apr 18, 2015

Neural dynamics and brain function被引用 5

一句话总结

本文研究了信息论度量（如熵率、统计复杂度和过剩熵）在脉冲神经元中随时间分辨率的变化，揭示了其标度行为可暴露动作电位间隔之间的相关性。研究表明，对于整合-放电神经元，过剩熵与正则化统计复杂度在连续时间极限下趋于普适，仅取决于动作电位间隔变异系数，而不依赖于具体的生物物理机制。

ABSTRACT

The mutual information between stimulus and spike-train response is commonly used to monitor neural coding efficiency, but neuronal computation broadly conceived requires more refined and targeted information measures of input-output joint processes. A first step towards that larger goal is to develop information measures for individual output processes, including information generation (entropy rate), stored information (statistical complexity), predictable information (excess entropy), and active information accumulation (bound information rate). We calculate these for spike trains generated by a variety of noise-driven integrate-and-fire neurons as a function of time resolution and for alternating renewal processes. We show that their time-resolution dependence reveals coarse-grained structural properties of interspike interval statistics; e.g., $τ$-entropy rates that diverge less quickly than the firing rate indicate interspike interval correlations. We also find evidence that the excess entropy and regularized statistical complexity of different types of integrate-and-fire neurons are universal in the continuous-time limit in the sense that they do not depend on mechanism details. This suggests a surprising simplicity in the spike trains generated by these model neurons. Interestingly, neurons with gamma-distributed ISIs and neurons whose spike trains are alternating renewal processes do not fall into the same universality class. These results lead to two conclusions. First, the dependence of information measures on time resolution reveals mechanistic details about spike train generation. Second, information measures can be used as model selection tools for analyzing spike train processes.

研究动机与目标

• 理解脉冲列的信息论度量如何随时间分辨率变化，特别是在亚毫秒时间尺度下的行为。
• 识别某些信息度量（如过剩熵与统计复杂度）是否在连续时间极限下独立于模型细节。
• 确定不同脉冲列统计特性（例如伽马分布的ISI与交替更新过程）是否属于同一普适类。
• 利用时间分辨率的标度行为作为神经编码中模型选择与机制推断的工具。
• 阐明在使用信息论分析精细时间尺度神经通信时所面临的概念与计算挑战。

提出的方法

• 计算由噪声驱动的整合-放电神经元生成的脉冲列的熵率、统计复杂度、过剩熵与绑定信息率。
• 利用更新过程与交替更新过程作为模型，分析这些度量的时间分辨率依赖性。
• 在 Δt → 0 的极限下应用渐近分析，推导信息度量的普适标度律。
• 使用变量替换技术，证明关键度量在平均放电率 μ 的重标度下保持不变，从而证明其仅依赖于变异系数 $C_V$。
• 采用涉及动作电位间隔累积分布函数 $\Phi(t)$ 与概率密度 $\phi(t)$ 的积分表达式，计算信息论量。
• 推导 $\lim_{\Delta t \to 0} C_\mu(\Delta t) + \log_2(\mu\Delta t)$ 及相关量的解析表达式，揭示其普适性。

实验结果

研究问题

• RQ1 信息度量的时间分辨率依赖性如何揭示动作电位间隔统计结构的特性？
• RQ2 整合-放电神经元的过剩熵与统计复杂度是否在连续时间极限下趋于普适，且独立于模型特定参数？
• RQ3 具有伽马分布ISI与交替更新过程的神经元是否属于同一普适类？
• RQ4 动作电位间隔相关性（以 $C_V$ 衡量）在决定信息度量标度行为中起什么作用？
• RQ5 信息论度量能否作为基于其时间分辨率行为的脉冲列过程模型选择工具？

主要发现

• 熵率 $h_\mu(\Delta t)$ 与过剩熵 $E(\Delta t)$ 随时间分辨率的标度行为表明，其发散特性可揭示动作电位间隔之间的相关性：若发散速度慢于 $\log_2(\mu\Delta t)$，则表明存在相关性。
• 过剩熵与正则化统计复杂度在连续时间极限下具有普适性，仅依赖于动作电位间隔的变异系数 $C_V$，而不依赖于具体的整合-放电机制。
• 对于双参数ISI族，极限 $\lim_{\Delta t \to 0} C_\mu(\Delta t) + \log_2(\mu\Delta t)$ 仅依赖于 $C_V$，而不依赖于平均放电率 $\mu$。
• 当 $C_V \to 0$ 时，过剩熵 $E$ 以 $\log_2(1/C_V)$ 的方式对数发散，与近乎周期性的脉冲列一致。
• 绑定信息率 $b_\mu(\Delta t)/\Delta t$ 在 $C_V \to 0$ 时以 $1/(2C_V^2)$ 的方式发散，表明近乎周期性脉冲列的可预测性增强。
• 最小可能的 $C_\mu(\Delta t)$ 出现在周期性脉冲列中，且当 $\Delta t \to 0$ 时 $C_\mu(\Delta t) \to \log_2(1/\mu\Delta t)$，从而确认了理论下界。