[论文解读] Multivariate information measures: an experimentalist's perspective

Nicholas M. Timme, Wesley T. Alford+2 more|arXiv (Cornell University)|Nov 28, 2011

Neural dynamics and brain function被引用 13

一句话总结

本文对多变量信息度量（如交互信息、总相关性、对偶总相关性）进行了全面比较，用于分析复杂系统，特别是在神经科学领域。通过使用模型系统和真实的神经动作电位数据评估这些度量，结果表明不同度量揭示了协同作用与冗余性的不同方面，并提供了开源的 MATLAB 代码，以支持研究人员实现可重复分析。

ABSTRACT

Information theory is widely accepted as a powerful tool for analyzing complex systems and it has been applied in many disciplines. Recently, some central components of information theory - multivariate information measures - have found expanded use in the study of several phenomena. These information measures differ in subtle yet significant ways. Here, we will review the information theory behind each measure, as well as examine the differences between these measures by applying them to several simple model systems. In addition to these systems, we will illustrate the usefulness of the information measures by analyzing neural spiking data from a dissociated culture through early stages of its development. We hope that this work will aid other researchers as they seek the best multivariate information measure for their specific research goals and system. Finally, we have made software available online which allows the user to calculate all of the information measures discussed within this paper.

研究动机与目标

• 澄清复杂系统研究中广泛使用的多变量信息度量在概念和数学上的差异。
• 通过具有已知信息论特性的简单模型系统，评估这些度量的性能和可解释性。
• 展示这些度量在分离培养的神经元网络中真实神经动作电位数据上的应用。
• 为研究人员提供实用指南，根据其具体研究目标选择最合适的多变量信息度量。
• 发布开源 MATLAB 软件，实现所有讨论的信息度量，以支持可重复研究。

提出的方法

• 回顾并统一关键多变量信息度量的符号和定义，包括交互信息、总相关性（TC）、对偶总相关性（DTC）和部分信息分解（PID）。
• 将每种度量应用于一组可解析处理的模型系统（例如，XOR 门、冗余和协同网络），在受控条件下比较其行为。
• 使用模型参数导出的联合概率分布，通过标准信息论方程计算熵、互信息以及高阶信息度量。
• 分析分离培养的皮层神经元网络在不同发育阶段的实验性神经动作电位数据，追踪信息传输和相互作用结构的变化。
• 使用自定义 MATLAB 代码实现并验证这些度量，公开发布以确保可重复性和可及性。
• 采用部分信息分解（PID）来分离对目标变量信息的冗余和协同贡献，使用基于最小互信息的冗余度量。

实验结果

研究问题

• RQ1 当应用于具有已知协同或冗余结构的系统时，不同多变量信息度量（如交互信息、TC、DTC、PID）的表现如何？
• RQ2 在模型系统中，这些度量在量化多变量依赖关系方面在多大程度上一致或产生分歧？
• RQ3 在神经网络发育过程中，协同作用和冗余性如何演变，不同信息论框架下的测量结果如何？
• RQ4 与交互信息相比，部分信息分解（PID）能否有效分离神经数据中的冗余和协同贡献？
• RQ5 哪种多变量信息度量最能揭示发育中神经回路的功能组织？

主要发现

• 对于 XOR 门模型，交互信息和总相关性产生完全相同的结果，正确识别其为纯协同系统。
• 部分信息分解（PID）揭示了发育神经元培养中同时存在冗余和协同作用，这是交互信息所无法捕捉的细微特征。
• 在一个各贡献独立但不相同的模型中，交互信息显示净信息为零，而 PID 正确识别出非零的冗余和协同作用。
• 对偶总相关性（DTC）度量对依赖结构敏感，在捕捉变量间共享信息方面表现良好。
• 研究发现，没有单一度量是普遍最优的；每种度量根据研究问题揭示多变量依赖的不同方面。
• 开源的 MATLAB 实现使研究人员能够计算所有讨论的度量，从而促进对多变量系统的一致且可重复的分析。