[论文解读] Nonnegative Decomposition of Multivariate Information

Paul L. Williams, Randall D. Beer|arXiv (Cornell University)|Apr 14, 2010

Neural Networks and Applications参考文献 8被引用 278

一句话总结

本文通过将冗余重新定义为任意源对目标变量每个结果所提供的最小信息量（对结果取平均），提出了一种多变量信息的非负部分信息分解（PID）。该方法构建了一个冗余格，将香农信息分解为非负的部分信息原子，清晰阐明了冗余与协同作用的角色，并解释了交互信息的负值是由于这些分量的混淆所致。

ABSTRACT

Of the various attempts to generalize information theory to multiple variables, the most widely utilized, interaction information, suffers from the problem that it is sometimes negative. Here we reconsider from first principles the general structure of the information that a set of sources provides about a given variable. We begin with a new definition of redundancy as the minimum information that any source provides about each possible outcome of the variable, averaged over all possible outcomes. We then show how this measure of redundancy induces a lattice over sets of sources that clarifies the general structure of multivariate information. Finally, we use this redundancy lattice to propose a definition of partial information atoms that exhaustively decompose the Shannon information in a multivariate system in terms of the redundancy between synergies of subsets of the sources. Unlike interaction information, the atoms of our partial information decomposition are never negative and always support a clear interpretation as informational quantities. Our analysis also demonstrates how the negativity of interaction information can be explained by its confounding of redundancy and synergy.

研究动机与目标

• 解决多变量信息论中交互信息为负这一长期存在的问题。
• 提供一种清晰、非负的多变量信息分解方法，将其分解为可解释的组成部分。
• 利用基于格的框架，形式化多变量系统中冗余与协同作用的结构。
• 通过展示冗余与协同作用的混淆解释交互信息为何有时为负。
• 提供一个通用框架，适用于神经科学、遗传学和机器学习等领域的多变量依赖性分析。

提出的方法

• 将冗余定义为任意源对目标变量每个结果所提供的最小互信息（对结果取平均）。
• 在源集合上构建冗余格，以表示冗余信息的层次结构。
• 基于冗余格推导出各源子集的独有贡献（即部分信息原子）。
• 利用格结构将总互信息分解为非负且可解释的组成部分。
• 应用最小冗余度量以确保部分信息项的非负性和可解释性。
• 证明交互信息的负值源于冗余与协同贡献的混淆。

实验结果

研究问题

• RQ1 为何交互信息有时为负，这对其解释意味着什么？
• RQ2 如何将多变量信息分解为非负、可解释的冗余与协同作用组成部分？
• RQ3 多变量系统中冗余与协同贡献之间的结构性关系是什么？
• RQ4 基于格的框架能否在成对交互之外更清晰地组织多变量信息结构？
• RQ5 所提出的冗余度量在可解释性和非负性方面相较于现有定义有何改进？

主要发现

• 所提出的冗余度量 $ I_{\min} $ 始终非负，并满足冗余的直观性质。
• 冗余格提供了源之间信息共享方式的完整且结构化的表示。
• 部分信息原子的分解是穷尽且非负的，每个原子代表冗余与协同作用的独特组合。
• 交互信息被证明是部分信息原子的带符号和，其负值源于冗余与协同作用的混淆。
• 该方法即使在包含超过三个变量的复杂系统中，也能实现对多变量信息组成部分的清晰解释。
• 格结构允许高效剪枝零贡献项，表明在大规模系统中具有实际计算优势。