[论文解读] Synergy, Redundancy and Common Information

Pradeep Banerjee, Virgil Griffith|arXiv (Cornell University)|Sep 12, 2015

Statistical Mechanics and Entropy参考文献 67被引用 7

一句话总结

本文研究了两个预测变量与目标变量之间互信息的分解，将其分解为冗余、独占和协同成分。本文证明了一个不可能结果：任何基于公共信息（由Gács和Körner或Wyner定义）的冗余度量，当预测变量独立时，都无法产生非负的部分信息分解，这意味着此类冗余度量无法通过单个变量的优化推导得出。

ABSTRACT

We consider the problem of decomposing the total mutual information conveyed by a pair of predictor random variables about a target random variable into redundant, unique and synergistic contributions. We focus on the relationship between "redundant information" and the more familiar information-theoretic notions of "common information". Our main contribution is an impossibility result. We show that for independent predictor random variables, any common information based measure of redundancy cannot induce a nonnegative decomposition of the total mutual information. Interestingly, this entails that any reasonable measure of redundant information cannot be derived by optimization over a single random variable.

研究动机与目标

• 研究基于公共信息的冗余度量是否能够在多元信息论中实现总互信息的非负分解。
• 阐明冗余信息与信息论中经典公共信息概念之间的关系。
• 考察现有公共信息框架（Gács-Körner、Wyner）在涉及预测变量与目标变量的非对称信息分解中的局限性。
• 证明对于独立的预测变量，任何基于公共信息的冗余度量都无法实现互信息 I(X₁X₂;Y) 的非负分解。
• 确立此类冗余度量无法通过单个随机变量的优化推导得出。

提出的方法

• 使用σ-代数和样本空间划分形式化公共信息与私有信息结构，扩展了博弈论与团队决策理论中的概念。
• 引入两种新的公共信息度量以及一种私有信息的对偶度量，其基础为充分统计量与最小充分统计量。
• 分析联合分布的结构，以确定公共信息与私有信息分量可被分离的条件。
• 以 Gács-Körner 公共信息和 Wyner 的公共信息作为基础度量，评估冗余性。
• 利用信息论不等式和马尔可夫链条件（例如 X–Y–Q）推导冗余与私有信息分量的界。
• 应用可饱和分布的概念，表征信息分解达到最大效率的条件。

实验结果

研究问题

• RQ1 能否使用基于公共信息的冗余度量（Gács-Körner 或 Wyner）实现 I(X₁X₂;Y) 的非负部分信息分解？
• RQ2 冗余信息与多元信息论中经典公共信息之间存在何种关系？
• RQ3 在独立预测变量的背景下，能否通过单个随机变量的优化推导出有意义的冗余度量？
• RQ4 在何种条件下，联合分布中的公共信息与私有信息结构可以被唯一识别？
• RQ5 为何基于公共信息的冗余度量在预测变量独立时无法支持非负分解？

主要发现

• 对于独立的预测随机变量，任何基于公共信息的冗余度量（Gács-Körner 或 Wyner）都无法诱导出 I(X₁X₂;Y) 的非负分解。
• 这一不可能性源于：在独立预测变量中，非零冗余只能源于预测变量与目标变量之间的机制性依赖，而公共信息度量无法以非负方式捕捉此类依赖。
• 本文证明，由于信息格中的结构约束，任何基于公共信息的冗余度量都无法通过单个随机变量的优化推导得出。
• 当联合分布可饱和时，私有信息度量可恢复一个变量相对于另一个变量的最小充分统计量，从而验证了所提框架的理论一致性。
• 基于最小充分统计量 X∧Y（即 Gács-Körner 公共部分）的公共信息度量仅在分布可饱和时达到边界等式，凸显了关键的结构条件。
• 即使目标变量 Y 在给定其中一个预测变量的条件下与另一个预测变量条件独立，该不可能性结果依然成立，进一步强化了公共信息度量与非负分解在独立性条件下的根本不相容性。