[论文解读] Theoretical Foundations of Equitability and the Maximal Information Coefficient

Yakir Reshef, David N. Reshef+2 more|arXiv (Cornell University)|Aug 21, 2014

Bayesian Modeling and Causal Inference参考文献 27被引用 10

一句话总结

本文形式化了等价性（equitability）与最大信息系数（MIC）的理论基础，引入了MIC的总体水平版本——MIC*，以澄清其与互信息的关系。该文将MIC*确立为互信息的连续、规范平滑形式，并提供了一个严格的理论框架，将等价性推广为依赖度量的一种属性，解决了先前研究中的模糊性，并支持新型估计器与计算方法的开发。

ABSTRACT

The maximal information coefficient (MIC) is a tool for finding the strongest pairwise relationships in a data set with many variables (Reshef et al., 2011). MIC is useful because it gives similar scores to equally noisy relationships of different types. This property, called {\em equitability}, is important for analyzing high-dimensional data sets. Here we formalize the theory behind both equitability and MIC in the language of estimation theory. This formalization has a number of advantages. First, it allows us to show that equitability is a generalization of power against statistical independence. Second, it allows us to compute and discuss the population value of MIC, which we call MIC_*. In doing so we generalize and strengthen the mathematical results proven in Reshef et al. (2011) and clarify the relationship between MIC and mutual information. Introducing MIC_* also enables us to reason about the properties of MIC more abstractly: for instance, we show that MIC_* is continuous and that there is a sense in which it is a canonical "smoothing" of mutual information. We also prove an alternate, equivalent characterization of MIC_* that we use to state new estimators of it as well as an algorithm for explicitly computing it when the joint probability density function of a pair of random variables is known. Our hope is that this paper provides a richer theoretical foundation for MIC and equitability going forward. This paper will be accompanied by a forthcoming companion paper that performs extensive empirical analysis and comparison to other methods and discusses the practical aspects of both equitability and the use of MIC and its related statistics.

研究动机与目标

• 为等价性提供正式的理论框架，该概念旨在无论关系类型如何，对具有相同噪声水平的关系分配相似的评分。
• 定义并分析MIC的总体版本，记为MIC*，作为互信息的规范平滑形式。
• 阐明MIC与互信息之间的数学关系，表明MIC*是对先前结果的推广与加强。
• 通过基于估计理论的精确、可推广的公式，解决原始等价性定义中的模糊性。
• 通过推导MIC*的另一种等价表征，支持显式计算与估计，从而实现新的计算与统计工具。

提出的方法

• 将MIC*定义为MIC的总体极限，即在所有对随机变量联合分布进行有限网格划分的条件下，归一化互信息的上确界。
• 运用估计理论，将等价性形式化为对独立性检验统计功效的推广，将其与效应量估计联系起来。
• 应用信息论工具，包括微熵与二进制熵函数，以界定联合分布扰动下互信息的偏差。
• 通过基于网格的近似方法推导MIC*的新表征，并证明MIC*关于基础分布是连续的。
• 利用关于概率质量扰动下熵差边界的引理（如引理A.7）建立MIC*的稳定性和收敛性。
• 基于推导出的表征，提出新的MIC*估计器，使得在已知联合密度时可实现实际计算。

实验结果

研究问题

• RQ1 等价性的精确理论定义是什么？如何以一种可推广至不同类型关系的方式对其进行形式化？
• RQ2 MIC*与互信息之间有何关系？在何种意义上MIC*是互信息的规范平滑形式？
• RQ3 当联合概率密度函数已知时，MIC*能否显式计算？此类计算的计算与统计特性如何？
• RQ4 MIC*在基础分布发生微小扰动时，其连续性与稳定性方面具有哪些理论保证？
• RQ5 通过MIC*对等价性进行形式化，如何解决先前工作中原始等价性定义存在的模糊性与局限性？

主要发现

• MIC*被正式定义为所有有限网格上归一化互信息的上确界，为MIC提供了总体水平的基准。
• MIC*关于基础联合分布是连续的，确保在数据生成机制发生微小变化时行为稳定。
• MIC*通过与互信息的严格联系，推广并加强了原始MIC论文中的数学结果。
• 推导出MIC*的另一种等价表征，使得在已知联合密度时可实现显式计算，并支持新型估计算法。
• 该形式化框架表明，等价性是统计功效对抗独立性的推广，将其嵌入更广泛的估计理论语境中。
• 关于熵扰动的引理（如引理A.7）表明，MIC*对联合分布的微小变化具有鲁棒性，其边界涉及二进制熵与log-k项。