[论文解读] The Partial Entropy Decomposition: Decomposing multivariate entropy and mutual information via pointwise common surprisal

Robin A. A. Ince|arXiv (Cornell University)|Feb 6, 2017

Computational Drug Discovery Methods被引用 15

一句话总结

本文提出了部分熵分解（PED），一种新颖的框架，将部分信息分解（PID）形式化应用于多元熵，利用点态共同惊讶（pointwise common surprisal）量化熵的冗余、唯一和协同成分。其主要贡献在于揭示了互信息本质上包含协同效应，澄清了PID一致性方面的长期争议，并实现了对机制冗余与源冗余的独立量化。

ABSTRACT

Obtaining meaningful quantitative descriptions of the statistical dependence within multivariate systems is a difficult open problem. Recently, the Partial Information Decomposition (PID) was proposed to decompose mutual information (MI) about a target variable into components which are redundant, unique and synergistic within different subsets of predictor variables. Here, we propose to apply the elegant formalism of the PID to multivariate entropy, resulting in a Partial Entropy Decomposition (PED). We implement the PED with an entropy redundancy measure based on pointwise common surprisal; a natural definition which is closely related to the definition of MI. We show how this approach can reveal the dyadic vs triadic generative structure of multivariate systems that are indistinguishable with classical Shannon measures. The entropy perspective also shows that misinformation is synergistic entropy and hence that MI itself includes both redundant and synergistic effects. We show the relationships between the PED and MI in two predictors, and derive two alternative information decompositions which we illustrate on several example systems. This reveals that in entropy terms, univariate predictor MI is not a proper subset of the joint MI, and we suggest this previously unrecognised fact explains in part why obtaining a consistent PID has proven difficult. The PED also allows separate quantification of mechanistic redundancy (related to the function of the system) versus source redundancy (arising from dependencies between inputs); an important distinction which no existing methods can address. The new perspective provided by the PED helps to clarify some of the difficulties encountered with the PID approach and the resulting decompositions provide useful tools for practical data analysis across a wide range of application areas.

研究动机与目标

• 为解决经典信息论在捕捉有意义的多元依赖结构方面的局限性，特别是当系统具有相同的香农度量但生成机制不同时。
• 通过将关注点从互信息转向熵，解决PID框架中冗余度量定义的一贯性难题。
• 提供一种新视角：将熵分解为冗余、唯一和协同成分，从而更清晰地解释信息结构。
• 区分机制冗余（功能性）与源冗余（输入依赖性），这一区别在现有方法中此前无法量化。
• 证明互信息同时包含冗余和协同成分，解释为何一致的PID分解长期难以实现。

提出的方法

• 通过将PID格结构扩展至多元熵，提出部分熵分解（PED），并使用点态共同惊讶作为熵冗余度量。
• 定义冗余熵为变量间共享的不确定性，基于点态共同惊讶，该定义与互信息的定义密切相关。
• 从PED框架中推导出两种替代的信息分解：一种基于纯互信息，另一种采用单义方法。
• 利用熵冗余度量将协同熵量化为错误信息，将负的局部信息值与协同贡献直接关联。
• 将PED应用于先前工作中提出的示例系统，表明其能够区分双变量与三元生成结构，而经典度量则无法做到。
• 建立基于PED的分解与现有PID方法之间的一致性，尤其在使用 $I_{\text{ccs}}$ 度量时；同时指出由于 $P_{\text{ind}}$ 引入的不对称性导致的差异。

实验结果

研究问题

• RQ1 PID形式化能否有意义地从互信息扩展到多元熵，以揭示多元系统更深层次的结构洞察？
• RQ2 为何获得一致的PID长期困难？熵的视角是否能阐明其根本原因？
• RQ3 在多元系统中，如何区分机制冗余（功能性）与源冗余（输入依赖性）？
• RQ4 协同熵在互信息中的作用是什么？它与错误信息或负的局部信息值有何关联？
• RQ5 PED框架能否解决冗余度量中的模糊性，并为信息分解提供更连贯的基础？

主要发现

• PED揭示了互信息本质上同时包含冗余和协同成分，解释了为何一致的PID分解长期难以实现。
• 协同熵被量化为错误信息，负的局部信息值与该协同成分直接对应。
• PED框架允许对机制冗余（功能相关）和源冗余（源于输入依赖性）进行独立量化，这是此前方法无法实现的区分。
• 在双预测器情况下，冗余熵始终大于或等于协同熵，且仅当两者均为零时相等。
• 当使用 $I_{\text{ccs}}$ 度量时，基于PED的分解与现有PID方法保持一致，但因 $P_{\text{ind}}$ 在互信息度量中引入的不对称性而产生差异。
• 该方法通过以熵作为一阶量出发，为信息分解提供了更清晰的基础，解决了冗余与协同概念上的模糊性。