[论文解读] On shared and multiple information

Cesare Magri|arXiv (Cornell University)|Jan 1, 2021

Computability, Logic, AI Algorithms参考文献 16被引用 2

一句话总结

本文提出了一种基于描述符的香农互信息分解方法，以解决信息论中长期存在的难题：非负部分信息分解（PID）、共享信息度量以及多源信息扩展。通过在目标变量的确定性函数（即描述符）上展开互信息，作者推导出一种非负的PI函数和一种新颖的共享信息度量，该度量调和了Williams和Beer的PID框架与Hu和Yeung的信息图（ID）框架，实现了与两种框架均兼容的一致且非负的多源信息度量。

ABSTRACT

We address three outstanding problems in information theory. Problem one is the definition of a non-negative decomposition of the information conveyed by two or more sources about a target variable into the specific contribution of each possible combination of the sources. Problem two is the definition of a measure of information shared by several sources about the target variable. Problem three is the definition of a measure of multiple mutual information, that is, the extension of mutual information to more than two variables.

研究动机与目标

• 解决多于两个源的情况下缺乏非负部分信息分解（PID）的问题。
• 定义一种在多源之间一致且非负的共享信息度量。
• 调和Williams和Beer的局部信息图（PID）框架与Hu和Yeung的信息图（ID）框架。
• 以与集合论框架均兼容的方式，将互信息扩展至多变量情形。
• 提供一种描述符无关的共享信息度量，满足关键公理化性质。

提出的方法

• 引入基于确定性函数 f: Y → Y₁, Y₂, ... 的互信息描述符扩展，其中这些函数将目标变量划分为若干特征。
• 通过 I(X;Y₁) 和条件互信息 I(X;Y|y₁) 的项，推导出 I(X;Y) 的分层展开式。
• 将共享信息的度量定义为所有可能描述符下条件互信息之和的最小值，该度量依赖于描述符。
• 通过在所有可能的描述符上最小化描述符依赖的度量，提出一种描述符无关的共享信息度量。
• 通过基于最小化后的共享信息，将每个源的子集分配至局部信息图中的一个区域，从而构建非负的PI函数。
• 通过证明新提出的多源信息度量与信息图中的交集一致，建立Williams和Beer的PID与Hu和Yeung的ID之间的联系。

实验结果

研究问题

• RQ1 是否可以通过重新定义分解基，实现多于两个源的非负部分信息分解？
• RQ2 是否可能定义一种既非负又与Williams和Beer的PID框架公理相容的共享信息度量？
• RQ3 如何一致地将局部信息图（PID）与Hu和Yeung的信息图（ID）联系起来？
• RQ4 是否存在一种描述符无关的共享信息度量，使其满足共享信息的核心性质？
• RQ5 是否可以定义一种新的多源信息度量，使其既非负又与PID和ID两种框架均兼容？

主要发现

• 所提出的描述符依赖型共享信息度量确保了非负的PI函数，解决了传统PID方法中出现负值的问题。
• 描述符无关的共享信息度量满足所有十项突出显示的公理化性质，是首个实现这一点的度量。
• 新提出的多源信息度量保证为非负，与McGill的交互信息不同，且与多源信息作为信息图中交集的集合论直觉一致。
• 该方法成功调和了Williams和Beer的PID框架与Hu和Yeung的ID框架，表明两者可通过基于描述符的分解实现一致关联。
• 作者证明，不存在一种共享信息度量能同时满足左单调性并兼容AND和UNQ等典型例子，从而挑战了该领域先前的假设。
• 该框架表明，特定源集合所传递的信息依赖于描述符，而共享信息本身则与描述符无关，从而为这两个概念提供了原则性的解耦。